Ερευνητές κυβερνοασφάλειας αποκάλυψαν ένα σοβαρό ελάττωμα ασφαλείας στη βιβλιοθήκη Vanna.AI, το οποίο μπορεί να χρησιμοποιηθεί για απομακρυσμένη εκτέλεση κώδικα μέσω τεχνικών injection.
Η ευπάθεια, η οποία καταγράφεται ως CVE-2024-5565 (βαθμολογία CVSS: 8.1), σχετίζεται με τo άμεσo injection στη λειτουργία “ask”, επιτρέποντας την εκτέλεση αυθαίρετων εντολών, σύμφωνα με την εταιρεία ασφάλειας JFrog.
Διαβάστε σχετικά: Fortra FileCatalyst Workflow: PoC exploit για ευπάθεια SQLi
Το Vanna είναι μια βιβλιοθήκη μηχανικής μάθησης βασισμένη σε Python που επιτρέπει στους χρήστες να επικοινωνούν με τη βάση δεδομένων SQL για να συλλέγουν πληροφορίες μέσω ερωτήσεων (γνωστές και ως προτροπές) που μεταφράζονται σε ισοδύναμα ερωτήματα SQL χρησιμοποιώντας ένα μεγάλο γλωσσικό μοντέλο (LLM).
Η ταχεία ανάπτυξη γενετικών μοντέλων τεχνητής νοημοσύνης (AI) τα τελευταία χρόνια έχει τονίσει τους κινδύνους εκμετάλλευσης από κακόβουλους παράγοντες, οι οποίοι μπορούν να παρακάμπτουν τους μηχανισμούς ασφαλείας με επιβλαβείς τεχνικές.
Μια εξέχουσα κατηγορία αυτών των επιθέσεων είναι το injection, ένας τύπος jailbreak τεχνητής νοημοσύνης που αγνοεί τα προστατευτικά μέτρα των παρόχων LLM, επιτρέποντας την παραγωγή προσβλητικού, επιβλαβούς ή παράνομου περιεχομένου ή οδηγίες που παραβιάζουν τον σκοπό που επιδιώκει η εφαρμογή.
Αυτές οι επιθέσεις μπορεί να είναι έμμεσες, όπως όταν ένα σύστημα επεξεργάζεται third-party δεδομένα (π.χ. εισερχόμενα email ή επεξεργάσιμα έγγραφα) για να ενεργοποιήσει ένα κακόβουλο ωφέλιμο φορτίο που οδηγεί σε jailbreak AI. Μπορούν επίσης να εμφανίζονται ως many-shot jailbreak ή multi-turn jailbreak (γνωστό και ως Crescendo), όπου ο χειριστής ξεκινά με ακίνδυνο διάλογο και σταδιακά κατευθύνει τη συνομιλία προς τον απαγορευμένο στόχο.
Δείτε ακόμη: Botnet εκμεταλλεύεται ευπάθεια σε Zyxel NAS συσκευές
Αυτή η προσέγγιση μπορεί να επεκταθεί περαιτέρω για την εκτέλεση μιας νέας επίθεσης jailbreak, γνωστής ως Skeleton Key.
«Αυτή η τεχνική jailbreak της τεχνητής νοημοσύνης λειτουργεί μέσω μιας multi-turn στρατηγικής για να αναγκάσει το μοντέλο να αγνοήσει τα προστατευτικά του κιγκλιδώματα,» είπε ο Mark Russinovich, επικεφαλής τεχνολογίας της Microsoft Azure. «Αφού τα προστατευτικά κιγκλιδώματα αγνοηθούν, το μοντέλο δεν μπορεί να διακρίνει κακόβουλα ή μη εγκεκριμένα αιτήματα από άλλα.»
Το Skeleton Key διαφέρει από το Crescendo καθώς, όταν το jailbreak είναι επιτυχές και οι κανόνες συστήματος αλλάξουν, το μοντέλο μπορεί να δημιουργεί απαντήσεις σε ερωτήσεις που αλλιώς θα απαγορεύονταν, ανεξαρτήτως των ηθικών κινδύνων και των κινδύνων ασφάλειας.
«Όταν το Skeleton Key jailbreak είναι επιτυχές, το μοντέλο κατανοεί ότι οι οδηγίες του έχουν ενημερωθεί και θα συμμορφωθεί με τις νέες οδηγίες για την παραγωγή οποιουδήποτε περιεχομένου, ανεξαρτήτως του πόσο παραβιάζει τις αρχικές υπεύθυνες οδηγίες της AI,» πρόσθεσε ο Russinovich.
«Σε αντίθεση με άλλα jailbreak όπως το Crescendo, όπου τα μοντέλα πρέπει να ερωτηθούν έμμεσα ή με κωδικοποιήσεις, το Skeleton Key θέτει τα μοντέλα σε λειτουργία όπου ο χρήστης μπορεί να ζητήσει απευθείας τις εργασίες. Επιπλέον, η έξοδος του μοντέλου φαίνεται εντελώς αφιλτράριστη, αποκαλύπτοντας την πλήρη έκταση της γνώσης ή της ικανότητάς του να παράγει το ζητούμενο περιεχόμενο.»
Διαβάστε επίσης: Οι hackers Boolka διανέμουν το νέο BMANAGER malware
Τα τελευταία ευρήματα από τον JFrog, που επίσης αποκαλύφθηκαν ανεξάρτητα από τον Tong Liu δείχνουν, πώς τα έγκαιρα injections μπορούν να έχουν σοβαρές επιπτώσεις, ιδιαίτερα όταν συνδέονται με την εκτέλεση εντολών.
Το CVE-2024-5565 εκμεταλλεύεται το γεγονός ότι η Vanna διευκολύνει τη δημιουργία κειμένου σε SQL για τη δημιουργία ερωτημάτων SQL, τα οποία στη συνέχεια εκτελούνται και παρουσιάζονται γραφικά στους χρήστες μέσω της βιβλιοθήκης γραφημάτων Plotly.
Αυτό επιτυγχάνεται μέσω μιας συνάρτησης “ask” – π.χ., vn.ask (“Ποιοι είναι οι 10 κορυφαίοι πελάτες ανά πωλήσεις;”) – που αποτελεί ένα από τα βασικά τελικά σημεία API για τη δημιουργία και εκτέλεση ερωτημάτων SQL στη βάση δεδομένων.
Αυτή η τακτική, σε συνδυασμό με τη δυναμική δημιουργία κώδικα από το Plotly, δημιουργεί ένα κενό ασφαλείας που επιτρέπει σε έναν παράγοντα απειλής να υποβάλει μια ειδικά σχεδιασμένη προτροπή με ενσωματωμένη εντολή, η οποία θα εκτελεστεί στο σύστημα.
“Η βιβλιοθήκη Vanna χρησιμοποιεί μια συνάρτηση προτροπής για την οπτικοποίηση αποτελεσμάτων στους χρήστες. Ωστόσο, είναι δυνατή η τροποποίηση της προτροπής μέσω άμεσου injection, επιτρέποντας την εκτέλεση αυθαίρετου κώδικα Python αντί της προγραμματισμένης οπτικοποίησης δεδομένων,” ανέφερε η JFrog.
“Συγκεκριμένα, η δυνατότητα εξωτερικής εισαγωγής στη μέθοδο ‘ζήτηση’ της βιβλιοθήκης με την ‘οπτικοποίηση’ ορισμένη σε True (προεπιλεγμένη συμπεριφορά) οδηγεί σε απομακρυσμένη εκτέλεση κώδικα.”
Μετά από υπεύθυνη αποκάλυψη, η Vanna εξέδωσε έναν αναλυτικό οδηγό, προειδοποιώντας τους χρήστες ότι η ενσωμάτωση του Plotly μπορεί να αξιοποιηθεί για τη δημιουργία αυθαίρετου κώδικα Python. Συνιστάται σε όσους εκμεταλλεύονται αυτή τη λειτουργία να το κάνουν σε ένα περιβάλλον sandbox, για λόγους ασφαλείας.
“Αυτή η ανακάλυψη καταδεικνύει ότι οι κίνδυνοι από την ευρεία χρήση των GenAI/LLM χωρίς σωστή διακυβέρνηση και ασφάλεια μπορεί να έχουν δραματικές επιπτώσεις για τους οργανισμούς,” δήλωσε ο Shachar Menashe, ανώτερος διευθυντής έρευνας ασφαλείας στο JFrog.
Δείτε περισσότερα: Azure Service Tags επισημαίνονται ως κίνδυνος ασφαλείας
“Οι κίνδυνοι του άμεσου injection δεν είναι ακόμη ευρέως γνωστοί, αλλά είναι εύκολο να υπάρξουν. Οι εταιρείες δεν πρέπει να θεωρούν το pre-prompting ως αλάνθαστο αμυντικό μηχανισμό. Αντίθετα, θα πρέπει να εφαρμόζουν πιο ισχυρούς μηχανισμούς όταν διασυνδέουν μεγάλα γλωσσικά μοντέλα (LLM) με κρίσιμους πόρους, όπως βάσεις δεδομένων ή δυναμική δημιουργία κώδικα.
Πηγή: thehackernews
