ZDFheute

Per Sticker Autos hacken

Sie sind hier:

Künstliche Intelligenz - Per Sticker Autos hacken

Datum:

Fünf Zentimeter schwarzes Isolierband haben zwei Sicherheitsforschern von McAfee gereicht, um die Künstliche Intelligenz im High-Tech-Auto von Tesla auszutricksen.

Archiv: Tesla Modell 3 auf dem Testgelände in Ruckersville, Virginia.
Archiv: Tesla Modell 3 auf dem Testgelände in Ruckersville, Virginia.
Quelle: Reuters

Es klingt banal, was die beiden Sicherheitsexperten Steve Povolny und Shivangee Trivedi da gemacht haben. Aber dahinter steckt viel Wissen über Algorithmen für die Mustererkennung und Bildverarbeitung.

Tesla missinterpretiert Verkehrszeichen

Vordergründig haben Povolny und Trivedi einfach in die Mitte der Ziffer 3 auf dem amerikanischen Verkehrsschild, das eine Geschwindigkeitsbeschränkung auf 35 Meilen die Stunde anzeigt, ein Stückchen Isolierband geklebt. Menschen sehen dann immer noch sofort, dass sie jetzt nur noch 35 Meilen schnell fahren dürfen.

Aber die Künstliche Intelligenz im Tesla hat das als Verkehrszeichen interpretiert, das 85 Meilen in der Stunde erlaubt. Um das Kamerasystem samt Mustererkennung, das im Tesla-Testwagen verbaut war, dazu zu bringen, das Verkehrszeichen falsch einzustufen, war eine Menge Vorarbeit erforderlich.

Durch Algorithmen mögliche Manipulation berechnen

Zuerst haben die Forscher viel Zeit darauf verwandt, um herauszubekommen, wie die Mustererkennung denn genau arbeitet. Sie wertet ein Verkehrszeichen nämlich Pixel um Pixel aus und berechnet dann die Wahrscheinlichkeit, um was für ein Verkehrszeichen es sich denn handelt.

Mit genau diesem Wissen, wie die Algorithmen Verkehrszeichen klassifizieren, haben die Sicherheitsexperten dann genau berechnet, wie ein Verkehrsschild verändert werden muss, damit das Fahrerassistenzsystem manipuliert werden kann.

Künstliche Intelligenz erkennt präpariertes Stoppschild nicht

Ein Ergebnis dieser Berechnungen waren Aufkleber für ein Stopp-Schild, die sie oberhalb und unterhalb des Schriftzuges "Stop" angebracht haben. Diese Sticker sorgen dafür, dass die Künstliche Intelligenz einer Mustererkennungssoftware dann kein Stopp-Schild "sieht" beziehungsweise klassifiziert, sondern ein Hinweisschild "zusätzliche Fahrspur".

Das Auto würde dann also an der Einmündung der Straße mit diesem präparierten Stopp-Schild gerade nicht stoppen, sondern einfach weiterfahren. Und das könnte zu einem folgenschweren Unfall führen.

Folgen von "Model Hacking" unerforscht

Steve Povolny und Shivangee Trivedi nennen diese Angriffe "Model Hacking", weil dabei im Prinzip dieselben Angriffsmethoden verwendet werden wie bei Angriffen auf Systeme maschinellen Lernens. Über diese Art der Angriffe ist vor allen Dingen in den Bereichen Bilderkennung und Mustererkennung schon intensiv geforscht worden.

Physische Angriffe auf die Künstliche Intelligenz durch Anbringen von Stickern oder durch andere Bildmanipulationen werden noch nicht so lange diskutiert. Vor allen Dingen die Auswirkungen solcher Manipulationen auf Fahrassistenzsysteme sind noch weitgehend unaufgeklärt.

Fünf Zentimeter Isolierband genügen für Manipulation

Deshalb haben Steve Povolny und Shivangee Trivedi auch den Sicherheitsexperten Mark Bereza mit ins Boot geholt. Der kennt sich nämlich sehr gut mit Fahrassistenzsystemen aus.

Die drei haben auf einer Teststrecke ein Verkehrsschild, das eine Geschwindigkeitsbegrenzung auf 35 Meilen anzeigt, mit den fünf Zentimetern Isolierband in Höhe der Mitte der Ziffer 3 überklebt. Mark Bereza hat in seinem Tesla die Funktion "Automatische Reisegeschwindigkeit" eingestellt und ist losgefahren.

Fahrassistenzsystem beschleunigt sofort

Als der Tesla dann am manipulierten Verkehrsschild vorbeifuhr, hat die Mustererkennung 85 Meilen Höchstgeschwindigkeit erkannt. Das Fahrassistenzsystem hat sofort beschleunigt, weil die gefahrene Geschwindigkeit weit unter der erlaubten Höchstgeschwindigkeit lag.

Allerdings hat Mark Bereza dann nach kurzer Zeit eingegriffen und abgebremst. Denn er wollte natürlich seinen teuren Tesla nicht zu Schrott fahren. Das Experiment zeigt aber sehr deutlich, dass physisches "Model Hacking" mit vom Menschen nicht unbedingt wahrgenommenen Manipulationen an Verkehrszeichen im Zusammenwirken mit Fahrassistenten durchaus gefährlich werden können.

Gemerkt auf Mein ZDF! Merken beendet Bewertet! Bewertung entfernt Zur Merkliste hinzugefügt! Merken beendet Embed-Code kopieren HTML-Code zum Einbetten des Videos in der Zwischenablage gespeichert.
Bitte beachten Sie die Nutzungsbedingungen des ZDF.

Um zu verstehen, wie unsere Webseite genutzt wird und um dir ein interessenbezogenes Angebot präsentieren zu können, nutzen wir Cookies und andere Techniken. Hier kannst du mehr erfahren und hier widersprechen.

Um Sendungen mit einer Altersbeschränkung zu jeder Tageszeit anzuschauen, kannst du jetzt eine Altersprüfung durchführen. Dafür benötigst du dein Ausweisdokument.

Du wechselst in den Kinderbereich und bewegst dich mit deinem Kinderprofil weiter.