Können Gesten die Mensch-Computer-Interaktion revolutionieren? Dieses Paper untersucht das Potenzial von Freihandgesten in Kombination mit Sprache als Schritt in Richtung natürlicher, multimodaler HCI, insbesondere im Kontext einer computergestützten Karte. Es befasst sich mit den Herausforderungen der Gesteninterpretation in multimodalen Umgebungen und schlägt eine Methode zur semantischen Klassifizierung von Gestenprimitiven vor. Die Autoren formalisieren eine Methode zum Bootstrapping des Interpretationsprozesses, indem sie Gestenprimitive basierend auf ihrer raumzeitlichen Deixis semantisch klassifizieren. Ergebnisse aus Anwenderstudien deuten darauf hin, dass Gestenprimitive Ko-Vorkommensmuster mit Sprachteilen bilden, die zwei Ebenen der Gestenbedeutung aufzeigen: einzelner Strich und Bewegungskomplex. Diese Ergebnisse definieren einen neuen Ansatz zur Interpretation in natürlichen Gesten-Sprach-Schnittstellen und ebnen den Weg für eine intuitivere und effektivere Mensch-Computer-Interaktion. Die Studie bietet eine Grundlage für zukünftige Forschungen im Bereich der multimodalen HCI.
Veröffentlicht im International Journal on Artificial Intelligence Tools, passt diese Arbeit zum Fokus des Journals auf innovative KI-Techniken für die Mensch-Computer-Interaktion. Die Erforschung von Gestenerkennung und multimodaler Integration in der Studie trägt zur Entwicklung intuitiverer und benutzerfreundlicherer KI-Systeme bei, was ein zentrales Thema des Journals ist.