Staging

Sprog i virtuelle verdener

I multimedieprojektet Staging arbejder CST sammen med en række andre forskningsinstitutioner i Danmark med interaktion med og i virtuelle verdener. Brugeren skal både kunne tale og bruge andre modaliteter (fx håndbevægelser vha. en datahandske) for at interagere med autonome agenter i en virtuel bondegård. At integrere sproglig input med input fra andre modaliteter, således at kommunikationen mellem brugeren og maskinen kan foregå på så naturlig en måde som mulig, er en kompliceret og banebrydende opgave. Systemets sprogteknologiske komponent skal sørge for at oversætte de sproglige udsagn og tilhørende håndbevægelser til abstrakte meningsrepræsentationer, som agenterne kan reagere efter - vel at mærke i en sammenhængende dialog.

Dialogfragment i Stagings bondegårdsscenario

Forstør billede

Video

Denne video demonstrerer kommunikation med en virtuel agent. Softwaren integrerer tre modaliteter: tale, pegning og håndbevægelser. Softwaren bestod af moduler til talegenkendelse, til talegenerering, til integration af modaliteter, parsning af tekst og semantic analyse, og til styring af kommunikationen. Kommunikationen mellem disse moduler fandt sted ifølge CORBA-standarden, hvilket gjorde det muligt at afvikle CPU-krævende opgaver på dedikeret hardware. Det meste af softwaren var skrevet i C++, men styring af kommunikationen blev taget hånd om af et Bracmat script. Brugergrænsefladen kørte altid under Windows 98, medens integration mellem modaliteterne, parsning, semantisk analyse og kommunikationsstyring blev udført på en SUN SPARC server. Da Windows-maskinen blev opgraderet til Windows 2000, holdt nogle af hardware-driverne op med at virke, så systemet virker ikke længere.

Patrizia Paggio og Bart Jongejan har lavet videoen den 4. marts 2002.

Literature

Patrizia Paggio and Bart Jongejan. "Multimodal communication in the virtual farm of the staging Project." Proceedings of International Workshop on Information Presentation and Natural Multimodal Dialogue, Verona. 2001.

Patrizia Paggio and Bart Jongejan. Multimodal Communication in Virtual Environments. Multimodal Intelligent Information Presentation. Kluwer Academic Publishers, 2005. s. 27-47

CST Kontakt

Patrizia Paggio patrizia @ cst.dk