KI-Agenten sind nützlich – und gefährlich, wie aktuelle Untersuchungserkenntnisse von Sicherheitsexperten demonstrieren.
amgun | shutterstock.com
Large Language Models (LLMs) werden mit immer mehr Tools und Datenquellen verbunden. Das bringt Vorteile, vergrößert aber auch die Angriffsfläche und schafft für Cyberkriminelle neue Prompt-Injection-Möglichkeiten. Das ist bekanntermaßen keine neue Angriffstechnik, erreicht aber mit Agentic AI ein völlig neues Level. Das demonstrierten Research-Spezialisten des Sicherheitsanbieters Zenity auf der Black Hat USA eindrücklich. Sie deckten eine ganze Reihe von Zero-Click- und One-Click-Exploit-Ketten in populären KI-Tools auf – darunter beispielsweise:
- ChatGPT,
- Copilot Studio,
- Cursor,
- Salesforce Einstein,
- Google Gemini und
- Microsoft Copilot.
Die Untersuchungen von Zenity zeigen, dass Angriffsformen, die zuvor erforderten, menschliche Mitarbeiter zum Klick zu verleiten, nun auf KI-Agenten ausgeweitet werden können – was ihren Wirkungsgrad maximiert. “Das sind keine theoretischen Schwachstellen, sondern funktionierende Exploits mit unmittelbaren, realen Konsequenzen“, ordnet Michael Bargury, CTO und Mitbegründer von Zenity die Erkenntnisse seines Teams ein. “Wir haben gezeigt, dass Angreifer KI-Agenten heimlich kapern können, um sensible Daten zu exfiltrieren, sich als Benutzer auszugeben, kritische Arbeitsabläufe zu manipulieren und sich in Unternehmenssystemen zu bewegen. Angreifer können also Ihren Agenten kompromittieren, anstatt Sie direkt anzugreifen – mit ganz ähnlichen Konsequenzen.”
ChatGPT: Prompt Injection per Dokument-Upload
Ein ziemlich gängiger Anwendungsfall ist es etwa, Dokumente in KI-Chatbots wie ChatGPT hochzuladen, damit das Modell diese zusammenfassen oder Fragen zu ihrem Inhalt beantworten kann. Allerdings lassen sich in diesen Dokumenten auch Prompts verstecken, die die KI anweisen, heimlich, still und leise bestimmte Aktionen auszuführen. Im Fall von ChatGPT können über die Connectors-Funktion File-Storage-Dienste von Drittanbietern (beispielsweise Google Drive, GitHub oder SharePoint) eingebunden werden. Diese machten sich die Zenity-Forscher für einen Proof-of-Concept-Exploit zunutze: Sie erstellten ein Dokument, wie es bei einem realen Phishing-Angriff zum Einsatz kommen könnte. Eine darin versteckte Anweisung sorgt dabei dafür, dass ChatGPT im Hintergrund im verbundenen Google-Drive-Konto nach API Keys sucht – und die Informationen im Erfolgsfall an die Angreifer weiterleitet.
