Eddy: Um Editor Gráfico Multimodal com Reconhecimento de Fala e Gestos

Abstract

A evolução das Interfaces Utilizador no sentido de melhorar a Interacção PessoaComputador, conduziu-nos às Interfaces Utilizador Gráficas (GUI) e mais recentemente às Interfaces Multimodais. O primeiro tipo de interfaces, utiliza o teclado e o rato como principais dispositivos de entrada, enquanto o segundo tipo procura explorar toda a gama sensorial do utilizador, incluindo por exemplo a visão, a audição, etc .. As Interfaces Multimodais são mais flexíveis, mas por outro lado · exigem do utilizador alguma adaptação. Para a construção destas interfaces é necessário avaliar o grau de adaptação dos utilizadores às técnicas de interacção multimodal e o aumento de produtividade que estas possam introduzir. Para realizar esse estudo desenvolvemos um editor gráfico de formas geométricas que utiliza a fala e os gestos como modalidades de entrada e ícones auditivos, estímulos visuais e animação como modalidades de saída. O estudo consistiu em comparar o editor gráfico desenvolvido com uma aplicação convencional, ao nível da rapidez de execução, agradabilidade, e adaptação dos utilizadores. Com base nos resultados obtidos, discutimos a possibilidade de utilização deste tipo de interfaces em aplicações interactivas.