Récapitulatif : | Cette page contient quelques informations sur ma thèse de doctorat, soutenue à Nancy le 2 avril 2003 et dont une version remaniée a été publiée par les éditions Hermès-Lavoisier en octobre 2004. Titre initial de la thèse : Modélisation de la communication multimodale : vers une formalisation de la pertinence. Titre de l'ouvrage : Dialogue homme-machine multimodal. ISBN 2-7462-0992-6. | ![]() |
Matériaux : | Fiche récapitulative. Annonce de l'éditeur. Présentation. | |
Jury de thèse : | J.-M. Pierrel, professeur à l'Université Henri
Poincaré, Nancy (président du jury) ;
H. Zeevat, professeur à l'Université d'Amsterdam ; J. Siroux, professeur à l'IUT de Lannion ; F. Alexandre, directeur de recherche INRIA, Nancy ; L. Romary, directeur de recherche INRIA, Nancy (directeur de thèse) ; N. Bellalem, maître de conférence, Université de Nancy 2. |
|
Mots-clés : | Communication multimodale spontanée, perception visuelle, traitement automatique des langues, architecture logicielle, pragmatique, modélisation cognitive, référence aux objets, contexte, saillance, pertinence. | |
Résumé : | Notre manière de percevoir les objets qui nous entourent
détermine nos choix langagiers et gestuels pour les
désigner. Les gestes que nous produisons structurent notre
espace visuel, les mots que nous utilisons modifient à leur
tour notre manière de percevoir. Perception visuelle, langage
et geste entretiennent ainsi de multiples interactions. Il s'agit
bien d'une seule problématique qui doit être
appréhendée globalement, premièrement pour
comprendre la complexité des phénomènes de
référence, deuxièmement pour en déduire
une modélisation informatique exploitable dans tout
système de dialogue homme-machine qui se veut un tant soit peu
compréhensif.
Nous montrons comment tout acte de référence se produit dans un sous-ensemble d'objets, ce sous-ensemble appelé domaine de référence étant implicite et pouvant découler de multiples indices. Parmi ces indices, certains proviennent du contexte visuel et de l'énoncé émis, d'autres proviennent de l'intention, de l'attention et de la mémoire de l'utilisateur. Nous proposons une formalisation des domaines de référence en tenant compte de ces critères et en nous axant sur la notion de saillance dont nous proposons une caractérisation formelle. Il nous apparaît en effet que l'implicite se retrouve en priorité à l'aide des indices saillants. Nous montrons comment un système de dialogue peut exploiter les hypothèses obtenues en s'aidant d'un critère de pertinence. Nous posons quelques pistes pour une calculabilité de ce critère. Notre contribution s'attache ainsi à identifier l'implicite dans la communication multimodale, en termes de structurations d'objets et de formalisation de critères cognitifs. |