Developing Natural User Interfaces with Microsoft Kinect to Support Disabled People

Abstract:
Natürliche Benutzerschnittstellen und Microsoft Kinect im speziellen ermöglichen ausgeklügelte Applikationen in diversen Anwendungsdomänen wie Gesundheitswesens und Computerspiele wo unterschiedliche Kommunikationsmodalitäten wie Berührung, Gesten und Sprache eingesetzt werden. Ein wesentliches Ziel dieser Benutzerschnittstellen ist eine Wiederverwendung von existieren Fähigkeiten zur Interaktion mit Applikationen und deren Inhalten. Die von Microsoft Kinect angebotenen Funktionen zum Verfolgen des Skeletts, zur Spracherkennung und zur Messung der Entfernung ermöglichen die Entwicklung von natürlichen Benutzerschnittstellen, aber es fehlen wichtige Funktionen zur Aufzeichnung, Wiedergabe und Weitergabe von Skelettdaten und zum automatisierten Erkennen von Gesten und Posen. Solche Funktionen werden z.B. für Gebrauchstauglichkeits-Evaluierungen oder für Computerspiele für Menschen mit motorischen Einschränkungen benötigt. Dieser Bericht präsentiert Frameworks, um Gesten und Posen beschreiben und zuverlässig erkennen zu können. Eine der wesentlichen Intentionen war, dass die Softwareentwicklung und das Prototyping von natürlichen Benutzerschnittstellen wesentlich vereinfacht werden. Dabei haben wir aber auch einen Schwerpunkt auf Applikationen gelegt, die von Menschen mit motorischen oder geistigen Einschränkungen benutzt werden. Diese Gruppe von Menschen kann dadurch in ihren täglichen Aktivitäten oder beim Erlernen neuer Fähigkeiten wesentlich unterstützt werden.