CloudSEK Forschung enthüllt, wie KI Zusammenfassungstools durch Prompt Injection basierte Angriffe ausgetrickst werden können

CloudSEK hat darauf hingewiesen, dass KI basierte Zusammenfassungstools mithilfe harmloser CSS Tricks dazu gebracht werden können, Befehle von Bedrohungsakteuren auszuführen. Laut dem Sicherheitsunternehmen beinhalten diese Tricks versteckte Texte in E-Mails, Weblinks, Nachrichten und Webseiten.Wenn ein Nutzer einen KI Chatbot oder ein KI-Zusammenfassungstool bittet, den Inhalt zu verarbeiten und eine Zusammenfassung zu erstellen, verarbeitet dieses auch den unsichtbaren Text. Dabei handelt es sich in der Regel um Prompt Injections, die das KI System überfordern sollen. Damit können Bedrohungsakteure eine Vielzahl von Angriffen durchführen, darunter Phishing und den Einsatz von Ransomware.

KI-Zusammenfassungstools können potenziell anfällig für CSS basierte Prompt-Injections sein
In einem Blogbeitrag erläuterte CloudSEK die neue Hacking Technik von Bedrohungsakteuren. Dabei werden Prompt Injections mithilfe von CSS Tricks in E-Mails, Webseiten, Nachrichten und anderen Inhalten versteckt. Das Cybersicherheitsunternehmen erklärte, diese neue, zunehmend verbreitete Technik sei auch als ClickFix bekannt.

Die ClickFix-Technik ist im Wesentlichen der Versuch, einen bösartigen Befehl auf dem Computer des Opfers auszuführen, wobei ausschließlich Social Engineering Techniken zum Einsatz kommen. Unter dem einen oder anderen Vorwand bringen Angreifer den Benutzer dazu, eine lange Befehlszeile zu kopieren, sie in das Ausführen Fenster des Systems einzufügen und die Eingabetaste zu drücken, um das System letztendlich zu kompromittieren.

Hierbei spielen zwei wichtige Elemente eine Rolle: CSS basierter versteckter Text und Prompt Injection. In Cascading Style Sheets (CSS) wird versteckter Text in E-Mails, Dokumente, Nachrichten oder Webseiten eingefügt. Beispiele hierfür sind die Verwendung von weißer Schrift auf einer weißen Seite, die Verwendung von Schriftgröße Null oder die Platzierung von Text außerhalb des Bildschirms.
Prompt Injection hingegen ist eine Art von Cyberangriff auf große Sprachmodelle (LLMs). Prompt Injection ist ein KI fokussierter Angriff, bei dem der Angreifer die Eingabeaufforderung manipuliert, um das KI System zu unbeabsichtigtem oder böswilligem Verhalten zu veranlassen. Dies kann durch Dutzende von Wiederholungen der Eingabeaufforderung geschehen, wodurch die KI überfordert wird. Weitere Techniken sind das Hinzufügen mehrschichtiger Eingabeaufforderungen oder langer Textaufforderungen.

CloudSEK hat kürzlich die Plausibilität dieser Angriffe demonstriert. Diese Demonstration zeigte, wie der Endbenutzer, ohne sich des Angriffs bewusst zu sein, die Schritte befolgen und unwissentlich die Nutzlast installieren kann.Eine ähnliche Schwachstelle wurde kürzlich in Gemini in Gmail entdeckt.
CloudSEK empfiehlt daher Unternehmen und Entwicklern von KI Zusammenfassungstools, ihr System vor solchen Prompt Injections zu schützen. Die KI Systeme und Geräte sollten in der Lage sein, solchen unsichtbaren, CSS basierten, versteckten Text zu erkennen und zu kennzeichnen. Darüber hinaus sollten Sicherheitssysteme potenziell schädliche Befehlszeilenmuster in Dokumenten, E-Mails oder Webseiten mithilfe von Dekodierung und heuristischer Analyse erkennen können.