Dans le formalisme MAD (Méthode Analytique de Description des Tâches, (Sebillotte 91) que nous avons choisi, une tâche est représentée sous forme d'un arbre hiérarchique et est définie par les éléments suivants:

• un état-initial: sous-ensemble de l'état du monde constitué de la liste des arguments d'entrée de la tâche.

• un état-final: sous-ensemble de l'état du monde constitué de la liste des arguments de sortie de la tâche.

• un but: sous-ensemble de l'état final, indiquant explicitement le but recherché que l'exécution de la tâche permet d'atteindre.

• des préconditions: ensemble de prédicats exprimant les contraintes sur l'état initial qui doivent nécessairement être satisfaites pour déclencher l'exécution de la tâche.

• des postconditions: ensemble de prédicats exprimant des contraintes sur l'état final qui doivent nécessairement être satisfaites après l'exécution de la tâche.

• un corps: niveau opérationnel indiquant comment la tache peut être exécutée et qui est soit un traitement simple, soit une combinaison de tâches organisée en structure.

On distinguera 2 types de tâches selon la nature du corps:

• les tâches élémentaires ou simples qui sont des tâches dont le niveau opérationnel (le corps) est caractérisé par une entité indivisible et qui correspondent dans notre cas à un énoncé multimodal,

• les taches composées dont le niveau opérationnel fait appel à un enchaînement structuré de tâches élémentaires et qui se compose dans notre cas d'une suite d'énoncés constituant le dialogue nécessaire à la réalisation d'une tâche .

La description d'une tâche autorise la description de plusieurs stratégies pour une même tâche. Ces différentes stratégies peuvent être issues de l'analyse de l'activité de plusieurs opérateurs ou bien d'un opérateur observé dans des contextes différents (analyse effectuée en collaboration avec des ergonomes).

B- Modèle du dialogue

Il possède des connaissances a priori concernant la façon de gérer les situations de dialogue (séquencement du dialogue, isolement de sessions de dialogue, stratégies de reprise du dialogue, de complétion, d'anticipation, gestion de l'historique).

C- L'historique du dialogue

Il est construit de façon incrémentale; il permet de mémoriser l'ensemble des interactions entre l'opérateur et le système au cours de chaque session (cf. 2.3).

D- Modèle de l'opérateur

Il comporte des caractéristiques communes à des classes d'opérateurs (Carbonell 88, Falzon et Cahour 90) ou spécifiques à un opérateur. La représentation "particulière" que possède le système d'un opérateur en activité est construite dynamiquement à partir d'une analyse des interactions (modèle comportemental) dans le contexte courant.

E- Modèle du dispositif

Il s'agit de connaissances permettant de décrire et d'exprimer les contraintes liées à l'application et à l'interface auxquelles le module peut à tout moment accéder. Sont représentés ici tous les objets de l'interface avec une description dynamique de l'ensemble de leurs caractéristiques (vu/non-vu;,couleur, manipulable ou non).

Trois types d'information sont consignées dans le modèle du dispositif:

• les variables de fonctionnement de l'application ainsi que leur valeur courante,

• la représentation graphique de ces données au travers de l'interface utilisateur,

• le modèle de la tâche réalisée par l'application décrivant les procédures exécutées par le système.

Ainsi le modèle du dispositif permet au coordinateur du dialogue de faire le lien entre le monde de l'application, I'interface utilisateur et les commandes de l'utilisateur. Il diffère du modèle de l'activité qui est une représentation de la manière dont l'utilisateur exécute une tâche au travers de l'application.

2.5. Synthétiseur multimodal

Le rôle de ce module est, partant du contenu des messages élaborés par le Coordinateur du dialogue, de décider de la forme sous laquelle il sera effectivement présenté à l'opérateur. Cela présuppose du choix des modalités de sortie en fonction de leur disponibilité en s'aidant du modèle du dialogue et du dispositif. Le retour peut s'effectuer en utilisant ces dispositifs de façon isolée ou combinée. Là encore, I'utilisation de plusieurs media multiplie le choix de la formulation d'un même concept ce qui permet une interaction variée.

Par exemple, des choix possibles pour l'envoi d'une alarme sont les suivants:

"sonnerie"(synthèse seule)

ou "sonnerie" + "clignotement d'un objet" (synthèse & graphisme)

ou "sonnerie" + "clignotement d'un objet" + "message d'alarme dans la zone

d'aide" (synthèse & texte & graphisme/image)

2.6 Module d'interfaçage avec l'application

Le rôle du module d'interfaçage avec l'application est de décoder un concept correspondant à une demande d'exécution provenant du coordinateur du dialogue et de le coder sous une forme directement interprétable par l'application (lancement de procédures, appels de méthodes, etc.). Pour cela, nous avons établi le besoin d'un langage générique d'interfaçage entre ce module et l'application.

Ce module fonctionne donc en tant qu'organe de codage/décodage entre deux unités de traitement de l'information manipulant chacune des concepts qui leur sont propres: le coordinateur du dialogue (concepts de l'opérateur) et l'application (concepts du système).

3.1. Les applications Thomson CSF-SDC: Postes de détection et de contrôle

Afin d'intégrer les divers aspects de la communication homme-machine dans les postes opérateurs des futurs systèmes de contrôle et de commandement, la Direction Technique de SDC a défini un thème stratégique d'études intitulé "Poste de Travail Intelligent" qui se veut une approche globale de la communication entre l'opérateur et son système. La démarche choisie consiste à réaliser des prototypes de position de contrôle permettant de mettre au point et de valider divers concepts d'interface, de mode d'interaction, d'assistance à la tâche et de gestion du dialogue. Le besoin est particulièrement critique dans le domaine du contrôle de trafic aérien.

La tâche du contrôleur aérien est en effet hautement cognitive. L'opérateur est confronté aux difficultés suivantes: alternance de situations de routine et de stress, passage de la fonction de superviseur à celle de décideur, données massives à organiser et à extrapoler, tâche complexe de planification et de résolution de conflits. Pour prendre en compte ces difficultés dans la définition des futurs postes opérateurs de nos systèmes de détection et de contrôle (défense aérienne, contrôle du trafic aérien, électronique navale, détection du champ de bataille), nous travaillons à la définition d'un environnement de conception et de réalisation d'interfaces homme-machine avancées intégrant des fonctions intelligentes

MELODIA (Multimodal Environment for a naturaL and task Oriented DIAlogue)

constitue le premier démonstrateur multimodal réalisé par Thomson CSF-SDC (Pouteau 90) et a servi de point de départ à la définition de notre architecture générique de dialogue.

MELODIA a été présenté au salon d'Avignon 1991, où il a prouvé l'intérêt:

• d'une communication multimodale, en ce qui concerne le naturel de l'interaction, la rapidité des échanges et la détermination du "focus" du dialogue,

• de l'utilisation du gant numérique pour l'évaluation directe et réaliste de situations potentielles de conflit entre avions (manipulation d'objets en 3D).

3.2.1 Présentation

SAlTeR (Séquencement d'Activités Intelligent en Temps Réel) est une application conçue et développée par le groupe "Études Amont" de Thomson Sintra Activités Sous-Marines qui a pour but d'assister l'opérateur sonar de localisation à bord d'un sous-marin.

C'est un "gestionnaire" intelligent réalisant un séquencement complet et automatique d'algorithmes de traitement de données en milieu évolutif. SAlTeR organise une partie des activités: il choisit les "bons" algorithmes afin de les déclencher au "bon" moment à partir d'informations pertinentes provenant des "bonnes" cibles détectées, appelées bruiteurs, (analyse de la quantité et de la qualité des informations). Une partie manuelle permet à l'opérateur de déclencher interactivement des algorithmes choisis sur un nombre restreint de bruiteurs.

Des éléments comme la charge de l'écran visualisant la situation acoustique, la pertinence des informations affichées dans les fenêtres d'aide (ordre d'apparition, précision...), la succession de tâches nécessaires à l'appel manuel d'un algorithme (choix des informations, prise en compte des résultats antérieurs...) nous conduisent à évaluer le rôle essentiel de la communication homme-machine pour une utilisation optimale du système.

3.2.2 Intérêt d'un dialogue multimodal adaptatif

3.2.2.1. Interfaces Adaptatitives

Il s'agit de faire varier dynamiquement la qualité et la quantité des informations, ainsi que la logique d'interaction, au cours de l'utilisation du système.

Quelques exemples simples permettent d'illustrer cette notion d'adaptativité dans le cas de SAlTeR:

• Lorsque l'opérateur recherche sur plusieurs "bruiteurs" une même information (comme la date du dernier traitement) et que cette demande d'information nécessite plusieurs manipulations (séquencement de tâches élémentaires), le système doit, de lui-même et au bout d'un certain temps, anticiper la demande de l'opérateur et fournir l'information automatiquement (ou plus simplement).

• Une analyse de la charge de l'écran présentant la situation perçue (analyse quantitative et qualitative) permet, dans certaines situations opérationnelles, une sélection des informations: affichage des bruiteurs les plus menaçants en priorité ou de ceux sur lesquels des traitements sont en cours par exemple.

• Le système peut repérer des habitudes de l'opérateur dans l'exécution de certaines tâches, comme l'appel systématique de résultats antérieurs avant le traitement d'un nouveau bruiteur. Ces particularités individuelles sont alors mémorisées par le système et la tâche de l'opérateur peut ainsi être simplifiée (les résultats appelés systématiquement par l'opérateur sont affichés automatiquement). Lorsque l'on change d'opérateur, le système se réinitialise avec les données qui lui sont associées et met à jour dynamiquement ses "modèles" en fonction d'une analyse constante des interactions homme-système.

3.2.2.2 Le rôle d'un dialogue multimodal

Le développement du prototype SAlTeR nous a conduit naturellement à analyser le poste opérateur en général. Sans être indispensable, la diversification des moyens d'interaction peut améliorer les conditions de travail et les performances des opérateurs.

En effet, les résultats d'une étude effectuée par une ergonome font apparaître certaines contraintes du poste de travail actuel:

• la position des écrans et des boutons peut représenter une astreinte pour les opérateurs qui sont obligés de lever les bras pour appuyer sur les boutons,

• si l'opérateur souhaite garder sa main droite sur la boule roulante (cf. 2.2.1), il est obligé pour appuyer sur certains boutons de masquer l'écran momentanément, ce mouvement entraînant également une torsion du dos.

Ces inconvénients ont conduit à imaginer un poste de travail multimodal comprenant un écran tactile pour remplacer certains boutons sur les côtés de l'écran. Parmi les autres moyens d'interaction possibles, la commande vocale permet à l'utilisateur de garder un contact visuel avec l'écran lors de certaines commandes; la synthèse de la parole est également envisagée sous certaines conditions: utilisation d'un casque pour limiter l'ambiance sonore, emploi de messages courts.

De telles possibilités nécessitent une conception des interfaces reposant sur une modélisation des tâches, une modélisation dynamique de l'opérateur, une analyse régulière du contexte opérationnel et une analyse préalable de l'activité d'un point de vue ergonomique.

3.3. Application Thomson CSF-RCC

3.3.1. Description

AMI (Attribution Intelligente de Messages), réalisé dans le cadre d'une étude menée avec le soutien de la DGA/DRET, est un logiciel d'attribution de messages en fonction de leur contenu sémantique (De Sousa 91). Il traite le cas de messages arrivant à un poste de commandement du deuxième corps d'armée. Ce traitement est réalisé en prenant en compte l'adéquation des éléments sémantiques du message et les rôles des différentes cellules à servir.

AMI repose sur l'analyse du contenu. Le contenu d'un texte est principalement représenté par les "domaines" dont il traite. Les "domaines" possibles sont les activités élémentaires du monde des correspondants potentiels (renseignement, génie, artillerie.) .

La mission d'un destinataire potentiel s'exprime grâce à une combinaison de ces éléments. Par exemple, un opérationnel de la cellule SANTÉ s'intéressera aux messages traitant des domaines "SANTÉ", "EFFECTIFS" ou "NBC".

Le principe de AMI est de remettre à chaque destinataire les messages dont le contenu correspond à sa mission. Les domaines sont identifiés à travers des expressions caractéristiques qui sont reconnues par un balayage systématique du texte. Le module de balayage livre en sortie une liste de domaines. Pour ce faire, il nécessite une connaissance linguistique et conceptuelle des expressions caractéristiques d'un domaine. Cette connaissance est dépendante de la langue considérée et donc change avec elle.

La comparaison entre le contenu des messages et les missions des attributaires potentiels est faite par un système expert qui prend en compte ces informations. La connaissance nécessaire à cette expertise reflète l'organisation du poste de commandement ainsi que la mission de chaque opérationnel dans les cellules. Elle est donc commune au différents modules de traitement multilingue.

3.3.2.La commande multi-modale dans AMI

Nous avons intégré dans AMI dont l'interface est réalisée avec le générateur d'interfaces graphiques SPIRITS-MMI (Spirits-MMI 91), un module d'interprétation de commandes multimodales commandant le contrôleur de dialogue du système AMI.

Les commandes, une fois interprétées, font appel aux fonctions de dialogue déjà réalisées dans AMI.

Le schéma de description du système est le suivant :

L'interprète de commande multimodale réalise la traduction d'une phrase ou d'un geste en une fonction interprétable par le contrôleur de dialogue du système à commander. Ce contrôleur est une sorte de pont entre la présentation visible par l'utilisateur et l'application proprement dite.

Les commandes accessibles à l'opérateur sont:

• la sélection d'un message;

• le déclenchement de l'attribution d'un message;

• la visualisation du contenu d'un message;

• l'écoute d'un message ;

• l'explication de l'attribution en ce qui concerne une cellule (mise en évidence de la liste des domaines concernés);

• l'explication de l'attribution en ce qui concerne un domaine (visualisation des expressions caractéristiques).

Ces commandes peuvent être réalisées selon les modes suivants:

• désignation d'un élément, puis sélection d'une opération sur cet élément dans un menu; - pointage d'un élément, puis expression d'une opération à l'aide d'un geste;

• pointage d'un élément et expression vocale de la commande sur cet élément (exemples: "Attribution de ce message, "Pourquoi cette cellule?");

• expression vocale de la commande et de ses paramètres (par exemple, "Attribution du message numéro 7").

La désignation peut être effectuée à l'aide de la souris ou bien à l'aide du gant. Dans ce dernier cas, un geste particulier permet l'asservissement du curseur au déplacement de la main.

3.3.3.Sortie sonore dans AMI

En ce qui concerne la sortie sonore, nous nous sommes limités ici à la restitution sonore des messages - ces messages étant préalablement enregistrés.

Cette application nous a amené à réfléchir sur un système capable de réaliser sensiblement le même travail que AMI mais à partir de messages sonores en provenance, par exemple, d'une ligne téléphonique. En effet, la reconnaissance d'expressions caractéristiques dans un message sonore est un principe déjà utilisé dans d'autres systèmes. Les résultats de cette étude pourront, dans peu de temps, être utilisés pour réaliser "AMI sonore".

Par ailleurs, pour améliorer les interactions de l'opérateur avec le système au cours d'une activité, il est indispensable de suivre une démarche de conception d'interfaces prenant en compte des connaissances liées à la tâche et au domaine d'application. Cependant, pour entreprendre cette démarche de façon globale et cohérente, il apparaît nécessaire de définir de véritables outils d'aide à la conception et à l'évaluation de ces interfaces multimodales adaptatives. Cette approche pluridisciplinaire se situe à la croisée des chemins de l'Ergonomie, I'lntelligence Artificielle et la Communication Homme-Machine.

BACCONNET B., GARCIA F. (1990) Partage des tâches et Communication Homme-Machine dans les futurs systèmes ATC, Atelier sur la gestion de la circulation aérienne, Académie Nationale de l'Air et de l'Espace, Toulouse.

CARBONELL N. (1988). Human-computer Interaction Cognitive & Psychological Aspects. ALF/NCY-NCANP-1/4/D1. CRIN. Projet Esprit ndeg. 1520.

DE SOUSA A. (1991) AMI et la commande vocale, Thomson CSF-RCC, Colombes.

DUERMAEL F. (1991) Spécification d'une interface opérateur/application multimodale Application a la mise en oeuvre d'un analyseur multimodal, Mémoire de DEA, Université de Nancy 1, CRIN/INRIA Lorraine.

FALZON P., CAHOUR B. (1990). Assistance à l'opérateur et modélisation de sa compétence. Communication à la Journée d'Etude "Expertise et Sciences Cognitivesn (pp. 1-13), Association pour la Recherche Cognitive, Paris.

KAY M. (1979) Functional grammars, 5th annual meeting of the Berkeley linguistic society proceedings

MILLOT F. (1988). Supervision des procédés automatisés et ergonomie. Editions Hermès, Paris.

MOESCHLER J. (1989) Modélisation du dialogue, Editions Hermès, Paris.

PIERREL J-M. (1987). Dialogue oral homme-machine., Editions Hermès, Paris.

PIERREL J-M., SABAH G. (1991). Dialogue en langage naturel écrit ou ora/, Bilan des approches du CRIN et du LIMSI, Actes Communication Homme-machine, EC2 Greco PRC CHM, Toulouse.

POUTEAU X. (1990) Dialogue H/M Multimodal pour Poste de Travail Intelligent, Mémoire de DEA, Université de Nancy 1, CRIN/INRIA Lorraine.

POUTEAU X., SOULARD P. (1991). Dialogue Homme-Machine Adaptatif et Multimodal pour Poste de Travail Intelligent., Rapport final d'étude, THOMSON CSF/SDC/DT/PTI/099/91.

RICHARD J-F. (1990). Les activités mentales., Editions Armand Colin, Paris.

SEBILLOTTE S. (1991). Décrire des tâches selon les objectifs des opérateurs (Rapport technique ndeg. 125), INRIA, Rocquencourt.

SPIRITS-MMI (1991). Manuel d'utilisation, Thomson CSF-RCC, Colombes.

SPERANDIO J-C. (1991). Le dialogue multimodal: une réponse aux besoins de communication homme-machine. Communication à Univerdustrie 91.

VILNAT A. (1984) Elaboration d'interventions pertinentes dans une conversation homme-machine, Thèse de 3ème cycle, Université Pierre et Marie Curie.