Google ignoriert bekannte Sicherheitslücke im Gemini KI System

Googles Gemini-KI steht nach der kürzlichen Entdeckung einer Sicherheitslücke unter Beobachtung. Laut Bericht handelt es sich bei der Sicherheitslücke um versteckte Zeichen im Text, die Gemini als Befehle interpretiert und dadurch vom Nutzer nicht beabsichtigte Aktionen ausführt.
Trotz der offensichtlichen Sicherheitsrisiken hat Google beschlossen, das Problem nicht zu beheben, und stuft es als „Social Engineering“-Problem und nicht als technische Sicherheitslücke ein.

Google weist die Schwachstelle als Social Engineering zurück

Der Cybersicherheitsforscher Viktor Markopoulos von FireTail entdeckte die Schwachstelle erstmals. Es handelt sich um versteckte Zeichen im Text, die Gemini als Befehle interpretiert, obwohl sie für den Benutzer nicht sichtbar sind (via BleepingComputer). Diese unsichtbaren Anweisungen können das Verhalten des Modells verändern und es dazu bringen, Dinge zu tun, die der Benutzer nicht beabsichtigt hat. Der Angriff ist schwer zu erkennen, da er Steuerzeichen oder Unicode-Symbole verwendet, die nicht auf dem Bildschirm angezeigt, aber dennoch von der KI gelesen werden.
Markopoulos demonstrierte, dass diese Schwachstelle durch einfache textbasierte Eingaben wie Kalendereinladungen oder E-Mails ausgenutzt werden kann.

So kann beispielsweise eine scheinbar harmlose E-Mail versteckte Anweisungen enthalten, die dazu führen, dass Gemini beim Zusammenfassen oder Interagieren mit diesem Text Daten falsch interpretiert oder umschreibt. In seinen Tests konnte Gemini dazu gebracht werden, Besprechungsdetails zu ändern oder irreführende Ausgaben zu generieren –alles ausgelöst durch Zeichen, von deren Existenz ein Mensch nicht einmal wusste.

Noch alarmierender ist, dass bei Tests desselben Angriffs mit anderen wichtigen KI-Systemen wie ChatGPT von OpenAI, Claude von Anthropic und Copilot von Microsoft diese Modelle die versteckten Eingaben entweder bereinigten oder ablehnten. Gemini hingegen konnte sie ebenso wenig blockieren wie Elon Musks Grok und Chinas DeepSeek.

Trotz der offensichtlichen Sicherheitsrisiken hat Google beschlossen, das Problem nicht zu beheben. In einer Reaktion auf den Bericht von FireTail stufte das Unternehmen ASCII-Schmuggel als „Social-Engineering-Problem“ und nicht als technische Schwachstelle ein. Vereinfacht ausgedrückt deutet Google an, dass das Problem durch die Täuschung von Nutzern und nicht durch einen Fehler im Modelldesign entsteht.

Googles Entscheidung könnte einige Nutzer beunruhigen. Google betont jedoch, dass es sich bei diesem Angriff nicht um einen Systemfehler handelt, auch wenn andere ihn als eine Lücke in der Textlesung durch KI im Vergleich zum Menschen betrachten.

Inzwischen hat Google in diesem Jahr weitere Gemini-bezogene Schwachstellen behoben, darunter Probleme in Protokollen, Suchzusammenfassungen und Browserverläufen, die als „Gemini Trifecta“ bekannt sind.