AudioStellar + API.Cultor

Arleka (AR)
Sociologo. Founder de PVM y org de Flashparty. http://pungas.space http://flashparty.dx.am
 
Hernán Ordiales aka hordia (AR)
Ingeniero y Artista Sonoro https://about.me/hordia
 
Leandro Garber (AR)
Psíquico de datos http://leandrogarber.info
 
Joaquín Cerviño (AR)
Músico, artista sonoro y multimedia. https://www.instagram.com/ioadeer/
 
➤ Repositorio git / cloud files
 
Descripción del proyecto
 
¿Qué problemática busca resolver? 
Integrar conceptualmente la búsqueda de sonidos por features y la navegación de mapas sonoros que agrupan archivos por similitud
 
¿A quién ayuda? 
A músicos y artistas experimentales
 
¿Cómo lo hace?
Utilizando algoritmos de reducción de la dimensionalidad, descriptores objetivos del sonido, controladores MIDI y protocolo OSC para la comunicación entre aplicaciones y dispositivos.
 
Posibles aplicaciones y mejoras
La prueba de concepto realizada consistió en buscar y ubicar sonidos en el mapa sonoro generado por AudioStellar a través de descriptores, como ser el Centroide Espectral (o ‘centro de gravedad’ del espectro) definiendo el valor en frecuencia (Hz) del mismo por medio de un controlador MIDI. Permitiendo una navegación rápida de los sonidos disponibles con feedback auditivo y visual inmediato.
 
Dicho mapa sonoro se obtiene luego de aplicar reducción de la dimensionalidad a partir de los espectrogramas de los sonidos hasta lograr un mapa en 2D. Para esto utiliza los algoritmos de Machine Learning PCA (matemático) y t-sne (estadístico). 
 
Entre las aplicaciones, se encuentra la posibilidad de realizar una performance en vivo (o exploración de una base de datos) buscando sonidos en tiempo real a través de la definición de valores para uno o más descriptores. Y una vez encontrado un sonido en particular, permitir la navegación dentro del mapa, desplazándose dentro del cluster a la cual pertenece, dado que el mismo, agrupa sonidos con características similares.
 
Mejoras 
Realizar la definición del sonido a buscar por varios descriptores en simultáneo (continuar el concepto utilizado por API.Cultor)
Ajustar los porcentajes de tolerancia en la búsqueda de forma tal que sean consecuentes con el comportamiento del oido humano (mayor resolución en baja frecuencia, curvas isofónicas)
Explorar la posibilidad de aplicar la resíntesis granular como efecto de salida (tesis de J.Cerviño)
 
×

Subscribe to newsletter

Mutek Mexico mailing list
* indicates required
*
Mutek Spain mailing list