| Titre | Interaction multimodale dans un environnement virtuel |
| Directeur de recherche |
C. Sédogbo, responsable du Laboratoire Communication Homme-Machine du Groupe Informatique du Laboratoire Central de Recherches de Thomson-CSF (Orsay). |
| Matériaux | Manuscrit. Fiche récapitulative. |
| Résumé | Une des finalités de l'interaction dans un environnement
virtuel consiste à interagir avec les objets présents
dans la scène virtuelle. L'interaction multimodale associant
geste de désignation et commande vocale offre pour cela une
grande puissance d'expression. Afin de minimiser les efforts
d'adaptation de l'utilisateur, elle se doit d'utiliser au mieux le
caractère naturel de ses deux modes d'interaction. Ce
mémoire traite certains aspects de la mise en œuvre d'une
interaction multimodale dans une application de réalité
virtuelle.
Nous étudions dans un premier temps les problèmes liés aux gestes de désignation imprécis, dont l'interprétation s'appuie sur les éléments contenus dans l'énoncé oral. Nous nous intéressons à la notion de désignation floue et nous proposons une mise en œuvre de zones de désignation floue. Nous étudions dans un second temps les problèmes liés aux références en langage naturel. Afin de résoudre une référence, c'est-à-dire de faire le lien entre les groupes de mots utilisés et les objets virtuels, il est nécessaire d'identifier le contexte à l'intérieur duquel la référence a été produite par l'utilisateur. Ce contexte peut être linguistique, lié à la tâche ou perceptif. Dans le cas d'un contexte perceptif, l'utilisateur peut être amené à référencer un objet en utilisant une caractéristique saillante de cet objet, c'est-à-dire une caractéristique de l'objet qui le distingue des autres objets. Cette caractéristique peut être soit explicite dans l'énoncé de la commande vocale, soit implicite. Le problème revient alors à déterminer les circonstances dans lesquelles la saillance peut être utilisée, et, lorsque c'est le cas, à retrouver le type de saillance et à le prendre en compte lors du calcul de référent. Dans la section dédiée à la saillance qui constitue l'objet principal de ce mémoire, nous étudions tout d'abord les structures linguistiques pouvant conduire à une recherche de saillance. Afin de déterminer les types possibles de saillance, nous étudions ensuite les caractéristiques d'un objet pouvant amener à sa saillance. Nous proposons une hiérarchie de ces caractéristiques et nous déterminons celles que l'on peut retenir et exploiter lors du calcul de référents. Nous nous intéressons alors à la saillance spatiale, c'est-à-dire à la saillance découlant des regroupements des objets et de leur répartition dans l'espace selon le point de vue du participant. Nous décrivons l'implémentation réalisée ainsi que les résultats obtenus, et nous proposons finalement quelques possibilités de prolongements de l'étude. |