Investigadores desarrollan Inteligencia Artificial que traduce a música interpretaciones sin audio
Sábado, 13 de marzo de 2021 | e6d.es
• El sistema de aprendizaje automático Audeo podría revolucionar el mundo de la música
Actualmente es difícil encontrar algún rubro donde no exista participación de la Inteligencia Artificial (IA). La utilidad de esta tecnología no deja de sorprender a la comunidad científica. En esta oportunidad, es el ámbito de la música el que estaría próximo a experimentar una importante revolución gracias a la IA.
Hacer música desde interpretaciones insonoras
Un equipo de investigadores de la Universidad de Washington, liderados por el profesor Eli Shlizerman, viene desarrollando un sistema de interpretaciones musicales partiendo únicamente de señales visuales. En específico, los científicos están aplicando el aprendizaje automático generado en IA para producir audio, teniendo como base algunas interpretaciones de piano insonoras.
Este sistema de aprendizaje automático se ha denominado Audeo. La música creada con Audeo ha sido puesta a prueba con aplicaciones de reconocimiento de música, dando resultados con 86 % de efectividad. Es decir, las aplicaciones como SoundHound sí reconocen las piezas musicales que la Inteligencia Artificial genera solo con ‘observar’ fotogramas de artistas interpretando determinadas canciones.
En diciembre del año pasado, el proyecto Audeo fue presentado en la conferencia NeurIPS 2020. El profesor Eli Shlizerman explicó al respecto: "Un algoritmo necesita descubrir las señales o 'características' en los fotogramas de vídeo que están relacionados con la producción de música, y necesita 'imaginar' el sonido que está ocurriendo entre los fotogramas de vídeo. Requiere un sistema que sea a la vez preciso e imaginativo. Haber logrado una música que suene bastante bien ha sido una sorpresa ".
Shlizerman y el resto del equipo investigador entrenaron y probaron su sistema empleando vídeos de YouTube del pianista británico Paul Barton. En efecto, Audeo solo ha sido programado para interpretar vídeos de piano de este artista, por lo que el siguiente objetivo es que transcriba música de cualquier otro músico con diferentes instrumentos. "La meta de este estudio era ver si la IA podría producir música interpretada por un pianista en una grabación de vídeo, aunque no pretendíamos replicar a Paul Barton porque es un virtuoso", precisó Shlizerman.
El futuro de la música
Además del proyecto de la Universidad de Washington, la industria de la música también tiene otras incursiones con Inteligencia Artificial. Como bien resalta Fabrizio Molina, asesor de ZonaTech, el Laboratorio de Investigación de la compañía discográfica Sony Music, con respaldo del Consejo Europeo de Investigación, ha desarrollado un software de IA para crear canciones llamado Flow Machines.
Lo que esperan investigadores como Shlizerman es que estos proyectos inicien nuevas formas de interacción entre los individuos y la música. Más allá de contribuir únicamente a la industria discográfica, lo que se pretende es que sistemas como Audeo puedan participar de la pedagogía musical. Bien sea al colocar una cámara inteligente encima de un piano o con maniobras análogas donde se registren las técnicas musicales y puedan procesarse en bases de datos.
._000803
Hacer música desde interpretaciones insonoras
Un equipo de investigadores de la Universidad de Washington, liderados por el profesor Eli Shlizerman, viene desarrollando un sistema de interpretaciones musicales partiendo únicamente de señales visuales. En específico, los científicos están aplicando el aprendizaje automático generado en IA para producir audio, teniendo como base algunas interpretaciones de piano insonoras.
Este sistema de aprendizaje automático se ha denominado Audeo. La música creada con Audeo ha sido puesta a prueba con aplicaciones de reconocimiento de música, dando resultados con 86 % de efectividad. Es decir, las aplicaciones como SoundHound sí reconocen las piezas musicales que la Inteligencia Artificial genera solo con ‘observar’ fotogramas de artistas interpretando determinadas canciones.
En diciembre del año pasado, el proyecto Audeo fue presentado en la conferencia NeurIPS 2020. El profesor Eli Shlizerman explicó al respecto: "Un algoritmo necesita descubrir las señales o 'características' en los fotogramas de vídeo que están relacionados con la producción de música, y necesita 'imaginar' el sonido que está ocurriendo entre los fotogramas de vídeo. Requiere un sistema que sea a la vez preciso e imaginativo. Haber logrado una música que suene bastante bien ha sido una sorpresa ".
Shlizerman y el resto del equipo investigador entrenaron y probaron su sistema empleando vídeos de YouTube del pianista británico Paul Barton. En efecto, Audeo solo ha sido programado para interpretar vídeos de piano de este artista, por lo que el siguiente objetivo es que transcriba música de cualquier otro músico con diferentes instrumentos. "La meta de este estudio era ver si la IA podría producir música interpretada por un pianista en una grabación de vídeo, aunque no pretendíamos replicar a Paul Barton porque es un virtuoso", precisó Shlizerman.
El futuro de la música
Además del proyecto de la Universidad de Washington, la industria de la música también tiene otras incursiones con Inteligencia Artificial. Como bien resalta Fabrizio Molina, asesor de ZonaTech, el Laboratorio de Investigación de la compañía discográfica Sony Music, con respaldo del Consejo Europeo de Investigación, ha desarrollado un software de IA para crear canciones llamado Flow Machines.
Lo que esperan investigadores como Shlizerman es que estos proyectos inicien nuevas formas de interacción entre los individuos y la música. Más allá de contribuir únicamente a la industria discográfica, lo que se pretende es que sistemas como Audeo puedan participar de la pedagogía musical. Bien sea al colocar una cámara inteligente encima de un piano o con maniobras análogas donde se registren las técnicas musicales y puedan procesarse en bases de datos.
._000803