Vortrag: Wir können Generative KI ganz einfach “hacken”

Referierender: Dr. Christoph Endres, sequire technology GmbH

Große Sprachmodelle (LLMs) werden aktuell vielfältig und intensiv genutzt, aber sind anfällig für Angriffe. Bisher wird diese Möglichkeit sehr wenig, bzw. rein aus der Perspektive des Datenschutzes betrachtet.

Das reicht aber bei weitem nicht aus; die wirklich relevanten Bedrohungen sind ganz woanders, und es ist nur eine Frage der Zeit, bis sie real werden.

Indirect Prompt Injection ermöglicht eine ferngesteuerte Übernahme von LLM-Anwendungen im großen Stil. Dabei schmuggelt ein Angreifer über externe Quellen (Webseiten, Dokumente, etc.) versteckte Anweisungen in den Dialogkontext eines Sprachmodells, und bringt den Dialog unter seine Kontrolle. Der Nutzer bekommt davon nichts mit.

Diese Schwachstelle wurde von sequire technology im Februar 2023 veröffentlicht und demonstriert. Dazu gab es ausführliche Gespräche mit betroffenen Anbietern, wie beispielsweise Microsoft, OpenAI und Google.

Im Ranking der gefährlichsten Schwachstellen von Sprachmodellen (OWASP Top 10) wurde Prompt Injection als Top 1 Bedrohung gelistet; das Bundesamt für Sicherheit in der Informationstechnik veröffentlichte eine Warnung basierend auf der Arbeit von sequire.

Im Vortrag diskutiert Dr. Christoph Endres die Bedrohungen von Großen Sprachmodellen, erläutert Indirect Prompt Injection im Detail, gibt Beispiele für aktuelle und zukünftige Angriffe und erklärt, warum die bisherigen Abwehrmaßnahmen nicht funktionieren und wie wir uns mit diesem Hintergrund schleunigst auf den AI Act vorbereiten müssen.

Vortrag: Datenschutzprobleme Künstlicher Intelligenz – ein Überblick aus technischer Sicht

Referierender: Prof. Dr. Christoph Sorge, Universität des Saarlandes, Vorstandsmitglied des EDVGT

Neben den Auswirkungen auf die IT-Sicherheit sind KI-Systeme insbesondere mit Blick auf auftretende Datenschutzprobleme diskutiert worden. Der Fokus liegt auf KI-Systemen, die maschinelles Lernen einsetzen – was nicht nur große Sprachmodelle betrifft.

Der Vortrag gibt einen Überblick über Angriffe auf KI-Modelle, mit denen- oft überraschend – Daten preisgegeben werden, und erläutert wesentliche Gegenmaßnahmen.