Sie sind hier:

Künstliche Intelligenz - Wenn KI-Systeme gehackt werden

Datum:

Selbstfahrende Autos, Gesichtserkennung, Kreditwürdigkeit: Werden Computer mit Künstlicher Intelligenz gehackt, treffen sie falsche Entscheidungen. Die Folgen können fatal sein.

Archiv: Das von der Polizei Tempe herausgegebene Bild aus einem Video, das eine fest installierte Kamera aufgenommen hat, zeigt den Moment kurz bevor ein selbstfahrendes Auto von "uber" eine Frau anfährt.
Das von der Polizei herausgegebene Bild zeigt den Moment kurz bevor ein selbstfahrendes Auto eine Frau anfährt. (Symbolbild)
Quelle: Tempe Police Department/dpa

Ein selbstfahrendes Auto fährt frontal in einen Lkw. Ursache: eine falsche Mustererkennung. Denn das KI-System hatte die blaue Plane des Lkw als Horizont interpretiert und keine Gefahr für eine Weiterfahrt gesehen.

Mustererkennung ist manipulierbar

Die entscheidende Frage lautet: Wie kam es zu dieser falschen Entscheidung des KI-Systems? Mögliche Ursachen sind Fehler in der Programmierung, falsch gewählte Trainingsdaten oder ein direkter Angriff auf das Computersystem mit Künstlicher Intelligenz.

Gleich in mehreren Diskussionsforen werden gegenwärtig solche Angriffe auf KI-Systeme diskutiert. Mal wird dabei ein Katastrophenszenario an die Wand gemalt, mal werden solche Angriffsstrategien als bloße Denkmodelle fürs Labor heruntergespielt.

Attacken auch ohne Insiderwissen möglich

"Wie solche Attacken auf produktive Systeme möglich sind, ist eindeutig gezeigt worden", erklärt Mathieu Sinn, der als Wissenschaftler am IBM-Forschungslabor in Dublin Angriffe auf KI-Systeme genau untersucht hat. Und Mathieu warnt: "Solche Angriffe sind sogar ohne detailliertes Wissen über den Hintergrund dieser Systeme und Einzelheiten zur Implementierung machbar."

Drei unterschiedliche Angriffsarten auf Computer, die mit Künstlicher Intelligenz arbeiten, hat der Sicherheitsforscher Mathieu mit seinem Team herausgefunden. "Ein sehr wirksamer Angriffspunkt sind die Eingaben", erläutert Mathieu Sinn.

Nur wenige Bildpunkte reichen schon

Bei Bilderkennungssystemen reicht es aus, weniger als ein Prozent der Eingabepixel zu verändern, um eine falsche Entscheidung des KI-Systems zu verursachen. Solche Manipulationen an den Eingabedaten werden häufig auf Dateiebene vorgenommen. "Die Bild- oder Videodatei wird dann manipuliert", erklärt Sicherheitsforscher Sinn.

Dabei kann eine erstellte Datei verändert oder der Eingabe-Stream umgeleitet und dabei manipuliert werden. So lässt sich auch Gesichtserkennung oder ein KI-basiertes Überwachungssystem auf Flughäfen und Bahnhöfen ausmanövrieren.

"Ein anderer wichtiger Angriffspunkt sind die Trainingsdaten", berichtet Mathieu Sinn. Der Trainingsdatensatz, mit dem das System lernt, Entscheidungen zu treffen, wird dabei um Daten ergänzt. Das führt zum Beispiel zu statistischen Verzerrungen.

Statistische Verzerrungen sind problematisch

Weil KI-gestützte Systeme ihre Entscheidungen oftmals auf Basis von Wahrscheinlichkeitsrechnungen treffen, kommt es so zu falschen Entscheidungen. So haben Computerprogramme, die berechnen, mit welcher Wahrscheinlichkeit ein Häftling bei vorzeitiger Entlassung wieder straffällig wird, in den USA in vielen Fällen weißen Häftlingen bessere Prognosen gestellt.

Hier stimmten die Trainingsdaten nicht und benachteiligten Angehörige anderer ethnischer Gruppen. Wissenschaftler amerikanischer Universitäten haben diese statistischen Verzerrungen in den Trainingsdatensätzen bemerkt und korrigiert. In diesen konkreten Fällen steckte kein Angriff auf das System dahinter.

Manipulierte Gewichtungen

"Aber solche Effekte können auch durch bewusste Änderung der Trainingsdaten herbeigeführt werden", meint KI-Experte Sinn. Dann würde er von einem Angriff auf das System sprechen.

Programmiercode und abstrakter Technologie Hintergrund
Was, wenn ein Algorithmus die Kreditwürdigkeit bestimmen soll?
Quelle: picture alliance / Klaus Ohlenschläger

Bei der dritten Angriffsstrategie werden die Gewichtungsfaktoren für einzelne Ausgangsdaten verändert. Wird zum Beispiel für die Berechnung von Kreditwürdigkeit das Jahreseinkommen nur einfach, die deutsche Staatsbürgerschaft aber zum Beispiel achtfach gewichtet, hat etwa ein belgischer Computerwissenschaftler, der an einem deutschen Forschungsinstitut arbeitet und sehr gut verdient, schlechtere Chancen und Bedingungen bei einem Kreditantrag.

Klassische Systemsicherheit bleibt wichtig

"Wer die Gewichtungen verändern kann, hat Zugang zum gesamten System", urteilt Mathieu Sinn. Das ist für mich das größte Sicherheitsrisiko. Um diese Angriffe abzuwehren, arbeiten Forscher wie Mathieu Sinn von IBM oder Clemens Dannheimer von der KI-Softwareschmiede Objective GmbH in München an Früherkennungssystemen und Abwehrmaßnahmen gegen solche Angriffe auf KI-Systeme.

"Wir können solche Angriffe abwehren, aber wir brauchen noch mehr Forschungsarbeit dazu", bringt Computerwissenschaftler Clemens Dannheimer den Sachstand auf den Punkt.

Gemerkt auf Mein ZDF! Merken beendet Bewertet! Bewertung entfernt Abonniert auf Mein ZDF! Abo beendet Embed-Code kopieren HTML-Code zum Einbetten des Videos in der Zwischenablage gespeichert.
Bitte beachten Sie die Nutzungsbedingungen des ZDF.

Die Website verwendet Cookies, um Ihnen ein bestmögliches Angebot zu präsentieren. Nähere Informationen und die Möglichkeit, die Verwendung von Cookies einzuschränken finden Sie hier.

Sie wechseln in den Kinderbereich und bewegen sich mit Ihrem Kinderprofil weiter.