Utilizando los mismos sensores de movimiento que traen las modernas consolas de juego, artistas visuales y sonoros desarrollaron una plataforma informática capaz de registrar el movimiento corporal para controlar la interacción de música e imágenes en una composición multimedial. Es uno de los proyectos amparados en la Incubadora de Empresas del Parque Científico Tecnológico de la UNC. [01.10.2014]

Con el propósito de asistir a los artistas multimediales en la creación de sus obras, el Grupo de Investigación en Medios y Artes (Giem), de la Universidad Nacional de Córdoba (UNC), creó un software para mejorar la producción de obras estéticas basadas en discursos audiovisuales. Este nuevo “instrumento tecnológico” apela a los sensores de movimiento Kinect, empleados en consolas de videojuegos, para registrar el movimiento del artista, quien controla de esa manera cómo interactúan el sonido y la imagen.

Radicado en la Facultad de Artes de la UNC, el Giem está conformado por artistas visuales y sonoros con un trasfondo común de interés tecnológico. Ellos observaron que resultaba más productivo comunicarse con la computadora a través de la voz o el movimiento corporal –concebidos como interfaces naturales– en lugar de emplear dispositivos tradicionales como el mouse o el joystick. Así optaron por el uso de los sensores de movimiento, ya que ese recurso mejoraba y flexibilizaba la generación de los procesos discursivos audiovisuales.

La plataforma ya fue presentada con éxito en espacios como Cuatrociencia, la megaferia de Ciencia, Arte y Tecnología que la UNC montó para conmemorar su cuarto centenario, y es uno de los proyectos con incubación externa de la Incubadora de Empresas del Parque Científico Tecnológico de esta casa de altos estudios. Es, además, la muestra del notable recorrido de una idea: de la inquietud artística al desarrollo de una herramienta tecnológica con amplio espectro de utilización. La intención de sus creadores es hacerla extensiva a usos lúdicos y a aplicaciones para computadoras personales.

En busca del impacto receptivo

La creación de la plataforma digital para procesamiento integrado de imagen y sonido es uno de los resultados de un proyecto de investigación que vincula arte y tecnología. Sergio Poblete, director del proyecto y profesor de Composición Musical, se retrotrae a 1999 para marcar el punto iniciático del trabajo. Mientras cursaba un posgrado en España, advirtió que la articulación entre lo acústico y lo visual no estaba suficientemente explorada, sobre todo en relación a los nuevos medios, como los sistemas interactivos multimedia (aquellos que permiten la generación y el control de los materiales visuales y auditivos).

“Principalmente, las obras trabajaban la relación del ritmo de la música con el ritmo de las imágenes visuales; pero había muchos aspectos que no estaban desarrollados, o los lenguajes eran relacionados de una forma muy ambigua, sin lograr producir un impacto receptivo en el espectador o participante”, explica.

Con esta preocupación de base -y ya de vuelta en la Universidad Nacional de Córdoba- Poblete comenzó la primera etapa de su proyecto, en la que investigó las posibles relaciones entre lo visual y lo acústico partiendo de la semiótica cognitiva (que integra la semiótica con ciencias cognitivas como la psicología de la percepción).

De esta etapa teórica, concluyó que existen infinitas posibilidades de integración entre lo visual y lo acústico, aunque las más frecuentes son la “sinestesia” (producción de una sensación en un canal a partir de la estimulación en otro canal sensorial diferente) y la “fonestesia” (integración de formas visuales con formas sonoras, nociones como “redondo”  asociada a fonemas blandos como eme o ele, por ejemplo). El ritmo y las figuras retóricas como la antítesis o la hipérbole, son otras de estas múltiples posibilidades de integración.

El desafío del Giem, de cara a la tercera etapa de su proyecto, es profundizar y refinar esta plataforma, sumando programadores y especialistas en lingüística, así como expandirse hacia otros campos de aplicación como los juegos para la PC.

Recursos   |   Descargar las fotografías en alta resolución

Fecha de publicación: 1 octubre, 2014