CORPUS MULTIMODALES
TIPOS Y APLICACIONES
Recopilación de datos
Dado que se pretende que éste sea multimodal, se considera lo siguiente:
Multimodalidad asimétrica
-
Normalmente se considera el gesto, el habla y las expresiones faciales en la salida del sistema.
Multimodalidad simétrica
-
Se considera el habla, el gesto y las expresiones faciales no sólo en la entrada del sistema (usuario), sino también en la salida (sistema).

Así, la recogida del corpus se lleva a cabo de la siguiente forma:
Canal oral: micrófonos.
Canal visual: cámaras de vídeo.
Metodología para la recogida de datos utilizada en el proyecto SmartKom
Protocolo del Mago de Oz.
Se graban sesiones de 4,5 minutos.
Se recoge la información sobre el canal oral utilizando tres micrófonos: un micrófono direccional, un panel de micrófonos con cuatro canales para reducir ruido, un micrófono con auriculares.
Se recoge la información sobre el canal visual utilizando diferentes cámaras de vídeo: dos cámaras para recoger la expresión facial y el perfil del sujeto, una cámara infrarroja para capturar los gestos y una cámara para grabar la salida gráfica del teclado.