Sie sind hier:

Neue Smartphone-App - Avatare sollen Gebärden dolmetschen

Datum:

Sprach-Assistenten wie Alexa, Siri oder Cortana sind in. Eine Sprache allerdings verstehen sie nicht: die Gebärdensprache. Doch Gehörlose sollen bald eine hilfreiche App bekommen.

Smartphone-Avatar (Symbolbild)
Smartphone-Avatar (Symbolbild) Quelle: imago

Wenn um 21:45 Uhr das heute journal auf Phoenix läuft, dann erscheint immer eine Dolmetscherin oder ein Dolmetscher mit auf dem Schirm. Mit heftigen Bewegungen und markanten Handzeichen übersetzen sie die Nachrichten in Gebärdensprache. Rund 140.000 Menschen in Deutschland sind auf Gebärdensprache-Dolmetscher angewiesen, um am sozialen Leben teilnehmen zu können. Eine Gebärdensprache-App fürs Smartphone soll demnächst Gehörlose in der EU auch in Alltagssituationen unterstützen. Forscherteams aus sechs Ländern arbeiten daran. In Deutschland kümmert sich die Universität in Siegen um die Digitalisierung der Gebärdensprache.

Zunächst 3D-Gebärden für 500 Wörter

Prof. Dr. Hubert Roth, Universität Siegen
Prof. Dr. Hubert Roth, Universität Siegen Quelle: privat

Dazu werden die verschiedenen Bewegungen der Hände mit einem Datenhandschuh aufgezeichnet. Solch ein High-Tech-Handschuh ist vollgespickt mit Sensoren, die nicht nur jeden Fingerzeig registrieren, sondern auch die Position und Orientierung der ganzen Hand im Raum erkennen. "Das ist deshalb so wichtig, weil Gebärden nicht nur zweidimensional sind, als würde man etwas auf ein Blatt Papier malen, sondern dreidimensional, also auch in die Tiefe gehen", erklärt Hubert Roth vom Lehrstuhl für Steuerungs- und Regelungstechnik der Universität Siegen die Digitalisierung.

So wird der Wortschatz von derzeit rund 500 Wörtern erfasst. Für jede einzelne Gebärde werden die vom Datenhandschuh registrierten Bewegungsfolgen abgespeichert. Sie sollen den Grundstock für die einfache Kommunikation in Alltagssituationen bilden, zum Beispiel bei der Nutzung von öffentlichen Verkehrsmitteln.  

Auch Gebärdensprache hat Dialekte

"Das Schwierige an der Gebärdensprache ist, dass sie nicht international einheitlich, sondern in jedem Land anders ist. Es gibt sogar Länder mit unterschiedlichen Dialekten", schildert Roth eine weitere Herausforderung. Denn die unterschiedlichen Gebärden in den verschiedenen Ländern bedeuten hohen Aufwand - der Wortschatz muss in jeder Sprache separat digitalisiert werden. Hinzu kommt, dass die Gebärden stark vom Inhalt der Sätze abhängig sind. "Gebärden werden je nach Aussage und Kontext unterschiedlich gebildet." Deshalb müssen die Gebärden nicht nur mit der Wortbedeutung abgespeichert werden, sondern auch der Sinnzusammenhang muss hinterlegt sein.

Mit diesem Wortschatz an Gebärden können dann Avatare ausgestattet werden. Das sind digitale Figuren, die wie Menschen aussehen und sich auch so bewegen können, und ihnen werden die Gebärden einprogrammiert. Gehörlose könnten sich damit wichtige Informationen in ihrer Sprache von Avataren auf dem Smartphone ansagen lassen. Aber auch an die umgekehrte Kommunikationsrichtung denken die Forscher. Computer sollen verstehen können, was Gehörlose per Gebärdensprache mitteilen wollen. Doch schon eine simple Anfrage wie "Von welchem Gleis fährt die S-Bahn nach Mainz ab" verlangt von einem Computer sehr viel Künstliche Intelligenz.

3D-Kamera wichtig für mündliche Kommunikation mit dem Gerät

"Dafür setzen wir sogenannte Kinect-Kameras ein, die in der Lage sind, Bewegungen im Raum zu erkennen", erklärt Roth den ersten Teil der technischen Lösung. Diese 3D-Kameratechnologie steckt normalerweise in der X-Box-Spiele-Konsole, um bei Sportspielen die Bewegungen der Teilnehmer zu beobachten. Für den Gebärden-Dolmetscher werden mit einer Mustererkennung die Bewegungen der Gehörlosen vor der 3D-Kamera mit den digitalisierten Gebärden verglichen. Im zweiten Schritt muss dann eine Analyse dafür sorgen, dass diese Gebärden im richtigen Zusammenhang gedeutet werden, also der semantische Zusammenhang stimmt.

Gebärden-App-Demo

Beitragslänge:
1 min
Datum:

Die notwendige 3D-Kamera ist allerdings noch eine große Hürde auf dem Weg zu einer Dolmetscher-App für Gehörlose. Denn die meisten Kameras in Smartphones oder Tablet-Computern arbeiten nur zweidimensional. Die Kinect-Kamera müsste deshalb als externes Zubehör angeschlossen werden. Doch auch das kann sich bald ändern: Immer mehr Smartphones werden mit drei oder sogar vier Kameras ausgestattet, um damit 3D-Videos drehen zu können. Deshalb ist der technische Aufwand für Hubert Roth auch nicht der entscheidende Faktor: "Was gemacht werden muss, ist den Datenschatz aufzubohren, also den Wortschatz zu erhöhen. Darin steckt der Aufwand."

Die Website verwendet Cookies, um Ihnen ein bestmögliches Angebot zu präsentieren. Nähere Informationen und die Möglichkeit, die Verwendung von Cookies einzuschränken finden Sie hier.

Gemerkt auf Mein ZDF! Merken beendet Bewertet! Bewertung entfernt Abonniert auf Mein ZDF! Abo beendet Embed-Code kopieren HTML-Code zum Einbetten des Videos in der Zwischenablage gespeichert

Sie wechseln in den Kinderbereich und bewegen sich mit Ihrem Kinderprofil weiter.