Emah

Seit 2022 hat unser Team ein Echtzeit-Mensch-Roboter-Interaktionssystem (kurz Emah) entwickelt, das auf einem Ameca-Roboter der Generation 1 von Engineered Arts als Front-End implementiert ist. Das Emah-System nutzt regelbasierte Verhaltensmodelle, benutzerdefiniertes maschinelles Lernen und Deep-Learning-Architekturen, die eine realistische Kommunikation zwischen Mensch und Roboter ermöglichen. Unser System integriert zwei externe Sensoren - ein Mikrofon und eine ZED2-Kamera - für eine verbesserte Dialogverarbeitung und Sehfähigkeiten. Für die Erkennung menschlicher Sprache wird Googles Speech-to-Text-Dienst verwendet, während der ZED-Treiber von Stereolabs bei der Wahrnehmung von Menschen und der Umgebung hilft. Ameca spielt eine wichtige Rolle bei der Bereitstellung von Robotersprache mit Lippensynchronisation und dem Ausdruck von Emotionen, die beide von unserem Team entwickelt wurden.

Das Design von Ameca, das sich durch realistische Gesichtsausdrücke, Handgesten und Kopfhaltungen auszeichnet, steigert das Engagement in Benutzerstudien und lässt Interaktionen natürlicher erscheinen. Das Standardsystem von Ameca kann über eine hochauflösende Brustkamera und binokulare Augenkameras mehrere Gesichter gleichzeitig erfassen und so Augenkontakt sicherstellen. Ameca unterscheidet sich von SOTA-Robotern durch seine Fähigkeit, den Hals und das Schlüsselbein zu bewegen, und verfügt über eine blaue Gesichtsmaske auf Silikonbasis, die durch ihr lebensechtes Aussehen besticht.

Unsere Forschung mit dem Emah-System, einschließlich Studien zur sozialen Wahrnehmung, zum Szenenbewusstsein und zum beobachtenden Lernen mit Roboterschülern, hat einen wichtigen Beitrag zum Bereich der HRI geleistet. Zukünftige Forschungen zielen darauf ab, das Emah-System weiter als studentischen Begleiter an unserer Universität zu integrieren und dabei sein erwachsenenähnliches Aussehen und seine individuellen Interaktionsmöglichkeiten zu nutzen.

Die Hardware-Spezifikationen von Ameca lauten wie folgt:

• Höhe 1870 mm
• Gewicht 49 kg
• Binokulare Kameras im Auge
• An den Ohren montierte binaurale Mikrofone
• Lautsprecher auf der Brust
• 51 Freiheitsgrade
• Eye Tracking auf Basis von Gesichtserkennung
• Externe ZED2-Kamera auf der Brust montiert
• Externes Mikrofon

Wir laden Forscher und Forschungsinstitute ein, mit uns zusammenzuarbeiten, um die Möglichkeiten von Emah in verschiedenen Anwendungsbereichen zu erforschen, von der Gesundheitsfürsorge und Bildung bis hin zur Unterhaltung und Servicerobotik. Gestalten Sie mit uns die Zukunft der Mensch-Roboter-Interaktion mit dem Emah-System.