CORPUS MULTIMODALES
TIPOS Y APLICACIONES
El sistema AMIDA (Automatic Content Linking Device)
Con la creciente facilidad del uso y almacenamiento de corpus multimodales, varias aplicaciones prácticas pueden ser realizadas para el acceso eficiente a dichos corpus tan vastos. Se utiliza el AMI Meeting Corpus como caso de estudio para la construcción de un Dispositivo Automático de Enlace de Contenido (Automatic Content Linking Device), un sistema que pueda recuperación de información en tiempo real.
Se ha visto a los corpus multimodales como una herramienta que tiene muestras del comportamiento del ser humano que permite componentes tecnológicos, como los reconocedores faciales, ser construidos. Ahora, la tecnología ha facilitado la obtención de datos de sensores como cámaras y micrófonos creando corpus muy vastos que abarcan desde grabar la mayor parte de los eventos de la vida de una persona, hasta el análisis de actividades realizadas en espacios públicos. La información recabada es en sí misma muy valiosa pero ¿Qué pasa cuando se quiere acceder a determinados datos o eventos específicos? La tarea de revisar y hallar la sección necesaria puede ser complicada. Una aplicación importante es la recuperación de estos archivos almacenados. La AMIDA Automatic Content Linking Device realiza una búsqueda en tiempo real, sobre un archivo multimodal usando un reconocedor de voz automático, dando así asistencia de información pasada durante un intercambio con un costo mínimo de atención de parte de los participantes.
Para crear la base de este dispositivo se ha hecho uso solamente del AMI Meeting Corpus, un corpus preparado en base a reuniones de trabajo. Estas reuniones fueron montadas ya que una reunión real es más caótica y la obtención de datos iniciales hubiera sido más laboriosa. El corpus consiste en 100 horas de grabaciones en escenarios tipo reuniones. Las grabaciones son en inglés, en tres diferentes cuartos y los participantes son mayormente hablantes no nativos del inglés.
El sistema en sí, realiza búsquedas a intervalos regulares sobre la base de datos derivada del Meeting Corpus con un criterio de búsqueda que se construye mediante un reconocedor de voz que capta las palabras automáticamente de una reunión en proceso.
El prototipo ACLD demuestra cómo acceder a grandes corpus puede ser facilitado si se automatiza el proceso. Esta plataforma ofrece una sólida opción para experimentar técnicas de acceso de corpus multimodales, donde se pueden agregar nuevos nódulos de procesamiento de datos, seguidos de pruebas para comprobar la efectividad de recuperación o visualización de la información del corpus.
La tecnología de grabación moderna ofrece grandes oportunidades para el uso de información multimodal almacenada, el ACLD es sólo un ejemplo de las aplicaciones para este recurso.
Para más información sobre AMIDA:
