Sie sind hier:

Messenger-Bots - Künstliche Intelligenz: "Doppelplusungut"

Datum:

Künstliche Intelligenz lässt in vielen Köpfen Horrorbilder entstehen, von Computern und Robotern, die außer Kontrolle geraten. Entsprechend aufgeregt war die Debatte, als Forscher kürzlich ein Experiment mit intelligenten Bots stoppten. Was geschah, ist schon in Orwells "1984" beschrieben.

Frankensteins Geschichte ist Warnung und Aufforderung zugleich, gewissenhaft mit technischen Entwicklungen umzugehen.

Beitragslänge:
4 min
Datum:

Bei dem Experiment der Facebook-Forscher sollten zwei intelligente Bots miteinander über die Verteilung von Bällen "verhandeln". Dabei kommunizierten sie zunächst auf Englisch,  wichen dann aber vom Alltagsenglisch immer wieder ab. Die Forscher brachen den Versuch ab.  In einigen Berichten war zu lesen, die beiden Bots hätten eine eigene Sprache und Kommunikation entwickelt, die den Forschern nicht mehr zugänglich gewesen sei.

Das stimmt nur teilweise. Die Bots passten ihr Alltagsenglisch an, weil sie präziser verhandeln wollten. "Sprachanpassungen von Systemen künstlicher Intelligenz sind nicht neu", sagt Michael Mörike, Vorstand der Integrata-Stiftung für humane Nutzung der Informationstechnologie, der gerade einen Kongress über ethische Fragen in der Künstlichen Intelligent vorbereitet.

Facebook will intelligentere Messenger-Bots

Die beiden Bots im KI-Labor von Facebook wollten unter anderem fünf Bälle fair unter sich aufteilen. Sie sollten nämlich "verhandeln" lernen. Der Hintergrund: Die Bots für den Messenger von Facebook sind noch ziemlich dumm. Sie können für ihre menschlichen Auftraggeber zum Beispiel einen Tisch für 20 Uhr beim besten Italiener der Stadt bestellen. Sie sind aber überfordert, wenn sie mit dem Inhaber des Restaurants über einen Rabatt verhandeln sollen. Das sollten die beiden Bots - Bob und Alice - lernen.

Und so kennzeichneten sie in ihren Verhandlungen über die fünf Bälle ganz präzise, dass drei Bälle an Alice gehen sollten. Im Dialekt der Bots hieß das dann: "Three balls to mememe." War von fünf Bällen die Rede, sagten die Bots "ballballballballball". Die Sprache wurde also automatisch präzisiert und damit eingeschränkt.

Doppelplusungut

Solch einen Prozess hat schon George Orwell in seinem Roman "1984" beschrieben. Die Sprache dort heißt Neusprech und folgt den Prinzipien einer logischen Maschinensprache. Im Neusprech bei Orwell wird ein schlechter Sachverhalt als ungut, ein sehr schlechter Sachverhalt als Doppelplusungut bezeichnet. Und genau so sind Bob und Alice im KI-Labor von Facebook auch vorgegangen: Sie haben eine logische Maschinensprache aus dem Englischen abgeleitet.

Die Forscher im Facebook-Labor konnten nicht mehr so recht nachvollziehen, wie die beiden Bots ihren Dialog entwickelt haben und mit welcher Strategie sie zum Beispiel über die Aufteilung der fünf Bälle verhandelten. Deshalb brachen sie das Experiment ab.

Anfängerfehler führte zum Abbruch

"Die Verhandlungssprache muss den Bots immer direkt vorgegeben werden", erklärt Joachim Scharloth, der an der Technischen Universität Dresden zu Forschungszwecken Bots entwickelt hat. In der Regel erhalten Bots Belohnungspunkte, wenn sie eine bestimmte Alltagssprache verwenden. Das haben die Forscher bei Facebook nicht gemacht. Außerdem muss in die KI-Programmierung immer eingebaut werden, dass die Bots ihren aktuellen Lernstatus offenlegen.

"Solch ein KI-System lernt ja eine Unmenge an Daten, hat eine riesige Wissensbasis", sagt Dirk Heitmann, Experte für KI-Systeme bei IBM. Deshalb müsse eine Art Lern- und Verhaltensprotokoll mitlaufen, wenn das KI-System arbeitet. Anhand dieser Aufzeichnungen können die Entwickler genau nachvollziehen, welche Daten wie gelernt wurden und wie dieser Lernprozess das System der künstlichen Intelligent verändert hat. Lernen sei ein mehrstufiger Rückkoppelungsprozess - dieser müsse für den Menschen, der mit künstlicher Intelligenz arbeitet, immer transparent sein, erläutert Heitmann

Ungenaue Programmpläne sind gefährlich

Diese programmtechnischen Vorgaben für die Entwicklung von KI-Systemen haben die Forscher bei Facebook missachtet. Deshalb konnten sie nicht mehr nachvollziehen, welche Prozesse in ihren Verhandlungssystemen laufen und haben das Experiment abgebrochen.

Das macht allerdings auch die grundsätzliche Problematik bei der Entwicklung von künstlicher Intelligenz deutlich: Wenn Menschen den KI-Systemen nicht programmtechnisch korrekt vorgeben, was sie optimieren sollen und wie sie es optimieren sollen, können diese Systeme außer Kontrolle geraten.

Bei KI-Systemen, die als Strategieberater in der Politik eingesetzt werden, wie etwa KI-basierte Gefechtplanungssysteme des Militärs oder bei medizinischen Expertensystemen,  kann das fatale Folgen haben. Das haben die - für sich gesehen harmlosen - Ereignisse im Labor für maschinelles Lernen bei Facebook noch einmal sehr deutlich gemacht.

Um unser Web-Angebot optimal zu präsentieren und zu verbessern, verwendet das ZDF Cookies. Durch die weitere Nutzung des Web-Angebots stimmen Sie der Verwendung von Cookies zu. Näheres dazu erfahren Sie in unserer Datenschutzerklärung.

Gemerkt auf Mein ZDF! Merken beendet Bewertet! Bewertung entfernt Abonniert auf Mein ZDF! Abo beendet Embed-Code kopieren HTML-Code zum Einbetten des Videos in der Zwischenablage gespeichert

Sie wechseln in den Kinderbereich und bewegen sich mit Ihrem Kinderprofil weiter.