top of page

Corpus de imágenes y fonética acústica

 

En el proyecto Requirements Specification for a Tool in Support of Annotation of  Natural Interaction and Multimodal Data (July 2001), desarrollado en coautoría con Laila Dybkjær, Stephen Berman, Niels Ole Bernsen,,  Jean Carletta y Ulrich Heid, , Joaquim LListerri contribuye a la elaboración de una herramienta destinada a la interacción multimodal. Este proyecto funciona de acuerdo con el ISLE, International Standards for Language Engineering - NIMM, Natural Interaction and MultiModality working group (2000 - 2002)

 

Para más información:

 

 

 

 

 

 

Las consideraciones discurren desde la funcionalidad, arquitectura, plataformas y requerimientos necesarios para lograr la transcripción, obtención de información y análisis de la interacción multimodal en condiciones de relativa naturalidad. La naturalidad se expresa en términos que refieren a la interacción mediante la cual los humanos normalmente comparten información con otros. Así, la herramienta desarrollada busca lograr un intercambio ideal.

 

A razón de esto, en la arquitectura de esta herramienta se concibe el reconocimiento de la expresión facial, los gestos y la postura del cuerpo. Empero, los alcances de este trabajo no se limitan a la interacción derivada de un corpus de imágenes que remiten a la postura común del cuerpo durante el intercambio comunicativo, o de las muecas y gestos que se esbozan ante determinadas oraciones; igualmente, se incluyen elementos que competen a la fonética acústica. Esta área del proyecto se encuentra a cargo del doctor Joaquím LListerri (énfasis especial en la prosodia): 

Los movimientos del cuerpo y rostro humanos, si bien son expresivos, se acompañan de otros factores durante los actos de habla. Dicha herramienta pretende incluir disímiles  modalidades del intercambio comunicativo.

 

En resumen, el análisis del corpus recabado funciona en los siguientes ejes:

 

  • Relación entre gesto y habla.

  • Parámetros acústicos relacionados con movimientos faciales.

  • Parámetros acústicos relacionados con el movimiento de las extremidades.

  • Sincronización entre el movimiento de los brazos y los gestos faciales.

  • Estudio desde una perspectiva multicultural.

Fenómenos lingüísticos relacionados con el gesto

 

  • Unidades prosódicas:

  • Sílabas.

  • Grupos de entonación.

  • Grupos fónicos.

  • Frases.

 

Fenómenos prosódicos:

 

  • Acento.

  • Límites tonales.

  • Acento de frase.

  • Acento enfático.

    bottom of page