SMILE II: Automatische Gebärdenspracherkennung auf Satzebene

Einige der Herausforderungen des Projektes sind u.a.: (a) fehlende Ressourcen zu DSGS (z.B. Sprachkorpora); (b) Gebärdensprache inkludiert sowohl manuelle Komponenten (Hand/Armbewegungen), als auch nicht manuelle Komponenten (Brust/Kopfbewegungen, Mimik) und die bisherige Forschung in diesem Bereich beschäftigte sich fast ausschliesslich mit dem automatisierten Erkennen von manuellen Komponenten; (c) Mangel an standardisierten Sprachtests für DSGS; und (d) Mangel an automatisierten Erkennungs- und Bewertungsmethoden von manuellen nicht manuellen Komponenten von Gebärdensprache.

Um diese ambitionierten Ziele zu erreichen, arbeitet ein Team von Wissenschaftler:innen aus unterschiedlichen Bereichen und vier verschiedenen Instituten zusammen:

• Idiap Research Institute, Martigny (automatisierte Spracherkennungstechnologie)
• Interkantonale Hochschule für Heilpädagogik Zürich, HfH (Gebärdensprachtesten)
• Universität Zürich (Gebärdensprachlinguistik)
• University of Surrey (GB) (Gebärdensprachtechnologie)

Die MitarbeiterInnen an der HfH, durch ihre Expertise im Gebärdensprachtesten, werden unter anderem folgende Methoden einsetzen:

• Testentwicklung eines DSGS Ja/Nein Vokabeltests, eines DSGS Satzwiederholungstests mit entsprechender Bewertungsskala, eines DSGS Übersetzungstests, und eines DSGS Interviews mit Bewertungsskala
• Statistische Analyse von Testergebnissen (Klassische Testtheorie, Rasch-Analysen)
• Bewerter:innentraining, Untersuchen von Bewerter:innenreliabilität, sowie Vergleiche von automatisierten und menschlichen Bewertungen
• Entwicklung und Auswertung von Feedbackinstrumenten für Benutzerstudien (Fragebögen, Fokusgruppen)

SMILE-II in Gebärdensprache

Die Projektzusammenfassung in Gebärdensprache sehen Sie im Video. Untertitel können ebenfalls eingeblendet werden.