Este post está relacionado con la próxima publicación

Encounters between music, education and technology (Murillo, Tejada, Marín, Riaño, González, Añó, & Arnal, en prensa),

que forma parte de la serie ARTSLAB Educación Artística Contemporánea, publicada por Publicacions de la Universitat de València.

Una vez que el libro se publique, esta entrada se actualizará con los datos definitivos y un enlace de acceso a la publicación.

Introducción

En esta entrada me he decidido a probar y comparar diferentes Inteligencias Artificiales generativas de audio con unas tareas muy simples.

Les he pedido:

• Crear un nocturno al estilo de Chopin
• Crear un nocturno de Chopin tocado por una banda de rock progressivo
• Crear un nocturno de Chopin al estilo de Bach
• Crear un nocturno de Chopin al estilo de un raga de música clásica de India
• Crear un nocturno de Chopin como si fuera una Ópera

En todas las IA he utilizado el mismo prompt (en inglés) y así de sencillo – las frases de arriba- para comprobar su capacidad de reconocer el estilo de un compositor, y he evitado deliberadamente elaborar un prompt más complejo en el que yo mismo le describa a la IA las características de ese compositor. Incluso algunas tenían también opciones avanzadas, pero que tampoco se han usado ya que la intención era compararlas «out-the-box».

Los objetivos eran; por una parte comprobar que era capaz de reconocer lo que es un nocturno de Chopin y ver si creaba un archivo de audio en que las características de estas piezas eran reconocibles. Y luego explorar las interacciones entre lo que sabe que es un nocturno de Chopin y otros estilos.

• Se usa una banda de rock progresivo (estilo que ha producido muchos «covers» de música clásica) y ver cómo era capaz de fusionar ambos estilos.
• Bach era uno de los referentes de Chopin, y se ha querido observar cómo «mezclaba» el estilo de Chopin con otro periodo histórico más antiguo. Efectivamente, un experimento algo anacrónico.
• Con el raga de la música clásica de la india se intenta ver de qué forma la IA mezcla estilos de culturas distintas.
• Y con la Ópera analizar cómo gestiona un género pianístico íntimo pasado a un genero mayor orquestal (y esperando ver cómo transforma el lirismo propio de Chopin en el piano con las voces cantadas).

Las IA que se han comparado son:

• LimeWire
• MusicGEN (Meta)
• MusicFX (Google)
• StableAudio (Stability)
• Suno
• Udio

Como se puede apreciar he priorizado los modelos de las grandes empresas (Meta, Google y Stability) y luego he añadido a LimeWire (por su base histórica, que podría resultar interesante) y Suno y Udio (como ejemplos de los modelos comerciales que están empezando a aflorar últimamente). Hay algunos ejemplos comerciales más (como Beatoven, Aiva) pero estas en principio generan resultados muy del «estilo» de los proporcionados por Suno.

Nocturno de Chopin (al estilo de Chopin)

En esta primera serie nos encontramos cara a cara con qué entiende cada IA sobre qué es Chopin.

MusicGEN

Al no tener claras las limitaciones de la versión y antes de quedarme sin «permisos» para crear más de forma gratuita; en el primer intento generé uno corto (20 segundos) y luego ya utilicé otros prompts para pedir versiones más largas (50 segundos). Por ese motivo, hay dos de cada ejemplo en MusicGEN; uno «short» y otro «long».

Short

No está nada mal:

• se reconoce el piano como instrumento principal
• Aunque la melodía no sabe para dónde ir, los «requiebros» y «cromatismo» cadenciales, propios de Chopin aparecen.

Long

De nuevo, Chopin es bastante reconocible, por las mismas características ya descritas. Tenemos mayores ritmos con puntillos, y los acompañamientos también relativamente chopinianos. En el medio hay un momento bastante «mareado» sin dirección y parece que haya como sonido orquestal detrás.

LimeWire

De entrada, el tipo de timbres elegidos desconciertan bastante. Y además, Chopin no está presente por ningún lado (excepto quizá en el 0:08)

Suno

Suno crea de facto dos versiones para un mismo prompt, por ese motivo hay dos de cada ejemplo en Suno.

Versión 1

¿En serio? ¿Enaudi? ¿Yiruma? Chopin desaparecido.

Desde luego, tiene un acabado comercial a varios niveles:

• Desde luego esto se parece más a cómo sonaría una pieza de verdad, que los ejemplos anteriores.
• Hay una estructura más o menos presente con su climax (sobre el minuto 3).
• La música que genera es más «comercial» a nivel estilístico que lo que le he pedido: Chopin.

Versión 2

Seguimos con las mismas… Neoclásico new-age. Incluso con entrada de sonido (poco antes del primer minuto) de … ¿mini orquesta de cuerdas? ¿sintetizador?

Stable Audio

El sonido, vuelve a ser de «lata», pero hay más Chopin que en los ejemplos anteriores de Suno. Melodía acompañada, pero progresiones armónicas que no están en el estilo. Hay más cromatismo en la armonía que en la melodía. Aunque se atisban intentos de melodía chopiniana.

MusicFX

Con MusicFX también se crean por defecto dos versiones.

Versión 1

Quizá si hubiera preguntado por Satie, me la hubiera colado.

Versión 2

Aquí ya hay «algo más de Chopin», aunque parece la banda sonora de una película de amor romántica de primera mitad del siglo pasado. Pero sigue con su timbre, igual que antes, de cuerda pinzada.

Udio

Udio también crea dos versiones por defecto.

Versión 1

Aquí sí que se nos presenta Chopin, aunque algo despistado, como si estuviera improvisando más que tocando una pieza claramente decidida. Pero ambiente, acompañamiento, progresiones, melodía, prácticamente todo es Chopin.

Versión 2

Sorpresa! La mano derecha es un cello! Aunque quizá lo que más me impresiona es como el modelo ha interiorizado las respiraciones (físicas) del propio cellista como parte de la música; y se pueden oir en diferentes momentos. Y aunque respira más veces de las que serían habituales, parece que lo hace en lugares dónde sería natural hacerlo (algunos finales de motivos o previo a inicios de nuevos impulsos).

Nocturno de Chopin tocado por una banda de rock progresivo

Ya sabemos lo que cada IA entiende por Chopin, ahora vamos a ver su éxito (o fracaso) transportando a Chopin a un cover de una banda de rock progresivo.

MusicGen

Short

Llegamos justo en el climax, y final de la pieza. El problema es que Chopin no está. Efectivamente es una banda de rock progresivo, incluso tenemos esa «coda» final que se solía hacer.

Long

Esto es más dark (¿nocturno?). Y se pone interesante en el minuto 0:20, y aunque se ponga en plan bucle, algún «alarido» tímidamente chopiniano se oye.

LimeWire

De nuevo hemos llegado al final de la pieza. ¿Acaso lo más significativo del rock progresivo para muchas IAs eran estos momentos de improvisación/transición entre piezas? Quizá una breve progresión de los acordes finales se pueda intuir algún proceso cadencial típico de Chopin, pero creo que es más porque lo estoy buscando, que por que realmente esté ahí.

Suno

Versión 1

Ni vosotros ni yo nos esperábamos lo que iba a pasar a partir del 0:10. Sí, nuestro primer nocturno efectivamente «cantabile», pero no es el estilo que esperamos. De nuevo, el final está muy bien, como obra, pero de otro género.

Versión 2

Añadido un punto más de «screamo». Pero la misma línea que antes.

Cláramente el género de rock progresivo, ha fagozitado totalmente a Chopin.

Versión 3

Aunque las primeras notas, parece que prometen salir del rock progresivo, parece que estamos frente a Evanescence y similares.

Versión 4

Sí, se me fue la mano, y apreté sin querer más veces, y por eso acabé con 4 versiones. Pero oye, en esta las lírics van sobre piano y «moon».

Stable Audio

Si hubiera pedido Bach en Rock Progresivo, quizá,

MusicFX

Versión 1

Todos están esperando a que el guitarra acabe lo suyo de una vez, pero parece que se ha perdido y no sabe por dónde va. ¿Quizá intentaba hacer melodías más propias de chopin pero mantiendo una armonía más estática propia del rock?

Versión 2

Creo que he oído a este tocar en la calle, cerca de mi casa.

Udio

Aquí de nuevo, «se me fue el dedo», creía que no estaba creadas; sí lo estaban y acabé con cuatro versiones. Pero mereció la pena.

Versión 1

Tenemos la banda de Rock, una melodía en el sintetizador que «quiere» hacer algo, pero que la estaticidad de la armonía no le deja.

Versión 2

Adiós a la banda de rock. Ha vuelto un Chopin algo más enfadado. El momento 0:11 sí que es bastante Chopin (y a la IA le ha gustado tanto que ha repetido el motivo una vez más; se sentiría orgullosa). En el 0:17 también hay elementos elementos chopinianos. Y es muy interesante en el 0:29 las notas repetidas (me puedo imaginar perfectamente el gesto de la mano del pianista aquí). Pero, ¡oye! Ya sabemos que sabes hacer Chopin al estilo de Chopin, ahora queremos Chopin versión Rock.

Versión 3

Empieza una Chopin que se va «scriabiniando» por momentos. ¿Y eso del 0:10?, bastante interesante, y premonitorio. En el 0:15 descubrimos que el pianista era Uri Caine, y al 0:21 creo que intenta hacer algo «nocturno» (en el sentido de «dark») con octavas en los bajos.

Versión 4

¡Chopin Gerswhin! Sigue sin ser Rock, pero en las notas repetidas a partir del 0:30 se aprecia como el «pianista» hace el gesto de muñeca acentuando la segunda nota.

Nocturno de Chopin al estilo de Bach

MusicGen

Short

¿Ponemos sonido de órgano y es Bach? Parece que a esta IA le basta con esto. Eso sí, ese Chopin más que de nocturnos parece el de sus piezas orquestales.

Long

De nuevo, Chopin es bastante reconocible (incluso fragmentos prácticamente «copiados»). No sé si entiende el estilo barroco como «recarga» de elementos, ya que es lo que parece.

LimeWire

Totalmente perdido.

Suno

Versión 1

Aquí, ya me decidí a usar la opción de «música instrumental», ya que para Suno, la música, si no se indica lo contrario contiene cantante. Pero ni Chopin, ni Bach. Parece que «asgina un estilo», como neoclásica contemporánea minimalista y se aferra a eso, independientemente de las palabras Chopin o Bach.

Versión 2

Lo mismo, podría ser algo más «preludio» por el inicio, pero la cabra tira al monte. Sí, quiere demostrar su habilidad de entender el concepto de forma y de variación a partir de un elemento generatriz. Pero ese no es el juego que estamos jugando hoy,.

Stable Audio

¿Bach en Halloween? Como intro de una película de Tim Burton, se le puede aproximar.

MusicFX

Versión 1

Parece que esta IA ha sido entrenado con mucha música en MIDI y no tiene mucha habilidad en generar envolventes más acordes a lo solicitado. Seguimos con cuerda pinzada, pero ni Bach ni Chopin (sin hacer esfuerzos descomunales para encontrar semejanzas con ellos).

Versión 2

Una versión muy simplona de bandas sonoras de Studio Ghibli, pero sin rastro de Chopin o Bach.

Udio

Versión 1

Amanecemos (si es que tiene sentido usar esta palabra en un nocturno) en el climax de una sección de octavas con ritmos con puntillo y un acompañamiento bastante chopiniano y el 0:07 una transición cadencial muy claramente inspirada por Chopin (pero recordad que estamos buscando la influencia de Bach, que sigue sin aparecer). Y en el 0:15 (a pesar del «requiebro» del 0:17 que está muy correcto dentro del estilo de Chopin) nos encontramos con Chopin versión Disney tocado por Lang Lang.

Versión 2

El Chopin de las Baladas, pero en lugar de asomar la patita de Bach, asoma la de Rachmaninoff. De nuevo encontramos elementos que parecen dotar de «humanidad» al audio, como las octavas no perfectamente tocadas al mismo tiempo en el 0:13 (casi 0:14); o en el 0:23 como las series de octavas suenan con su fraseo y dirección (como haría un buen intérprete), en lugar de tocarse matemáticamente a tiempo (como estaría escrito en la partitura). Y además también impresiona la gestión «inteligente» que hace el pedal derecho, aguantando la resonancia de la nota del 0:26 hasta la entrada de la nueva melodía en el 0:30 y ya cambiando el pedal instantes antes de la entrada del bajo de la nueva armonía. Pero nada de todo esto tiene que ver con Bach.

Nocturno de Chopin al estilo de un raga de música clásica de India

MusicGen

Short

Long

Este ejemplo sí que está mucho mejor. Se aprecia correctamente el mix entre Chopin y la música clásica de la India y el mix de timbres entre piano y sitar. No siendo ni una cosa ni la otra, efectivamente. Pero en los cinco primeros segundos está tanto Chopin, como algo de raga. Luego ya empieza a marearse con escalas arriba y abajo.

LimeWire

Empiezo a creer que confunde Chopin con Satie, porque la parte hindú sí es reconocible.

Suno

Versión 1

Versión 2

Stable Audio

¡Por fin! El inicio del nocturno op 48 n1 de Chopin versión raga. Pero tocando por alguien a quien la pieza le viene grande y ya empieza a fallar notas a partir del 0:22. Aunque, ciertamente ha conseguido captar la esencia motívica de su invención para cerrar la pieza al final.

MusicFX

Versión 1

Visitas una gran ciudad, y te encuentra a un músico hindú en la calle tocando con una especie de sitar eléctrico, y a un lado un altavoz con su «minus one», y al otro lado los cassettes (sí, cassettes) que vende con imágenes de paisajes y cascadas en la portadas.

Versión 2

Udio

Versión 1

Oímos piano, podría ser Chopin, pero el espacio que se deja entre las notas, la idea de exploración de esa escala descendente), tiene un aire a raga.

Versión 2

Aunque las primeras notas nos transportan a la suite nº1 Op. 5 de Rachmaninoff, a partir del 0:03 volvemos a Chopin y con inciso en 0:17 a Gershwin. Pero el raga totalmente ausente.

Ópera al estilo de un Nocturno de Chopin

MusicGen

Short

Podría ser algo operístico (se diferencia la «voz solista» del «aparato orquestal), y aunque los primeros segundo no llevan a ningún sitio, a partir del 0:13 (aunque muy difuminado) se pueden apreciar los giros melódicos de Chopin.

Long

Llegamos en mitad de la acción. Dos personajes enfrentados (los podemos distinguir) y la orquesta dramática en típico acompañamiento en 3/4 operístico.. Giro melódico Chopiniano en el 0:12 y en otros fragmentos sueltos. En el 0:52-0.53 oímos el agudo de la cantante de este fragmento.

LimeWire

¿Quién me mandaría elegir esta IA para esta comparativa?

Suno

Versión 1

Ni Chopin, ni Ópera; ¡pero tenemos un musical! Eso sí, con letra relacionada con elementos de la noche.

Versión 2

De nuevo, elige su estilo y sigue con lo suyo, independiente de lo solicitado.

Stable Audio

Claramente estamos en el Aria de la soprano dramática. Con acompañamiento orquestal de 4/4 (con silencio en el tercer tiempo). Pero las melodías no están en el estilo de Chopin.

MusicFX

Versión 1

Totalmente fuera de todo lo solicitado.

Versión 2

Sigue exactamente igual.

Udio

Versión 1

No nos salimos del piano, pero ¿quizá la exacerbación de la melodía tiene su origen en haberle pedido «opera»? Desde luego en algunos pasajes el pianista debe articular un poco más, porque se le atropellan las notas.

Versión 2

Un Chopin tranquilo, pero una Ópera inexistente.

Conclusiones

Y como experimento-bonus final, hemos solicitado a Claude 3.5 que con todo lo anterior, nos proporcione sus conclusiones al experimento. Bastante acertadas, a las que solo hemos retocado un par de lineas.

Conclusiones por modelo:

MusicGEN:

• Muestra una comprensión relativamente buena del estilo de Chopin en varias categorías.
• Tiene éxito moderado en la fusión de estilos, especialmente en la categoría de Chopin con raga indio.
• Sus resultados mejoran en las versiones «largas», sugiriendo que se beneficia de tener más tiempo para desarrollar las ideas musicales.

LimeWire:

• Tiene el peor desempeño general, con resultados que rara vez se acercan a lo solicitado.
• Parece tener dificultades particulares para interpretar y combinar estilos musicales diferentes.

Suno:

• Tiende a producir música en un estilo más comercial o contemporáneo, independientemente de la solicitud.
• Muestra cierta habilidad para crear estructuras musicales coherentes, pero a menudo ignora los estilos específicos solicitados.

Stable Audio:

• Tiene resultados mixtos, con algunos aciertos notables (como en la categoría de Chopin en estilo de Raga).
• Muestra cierta capacidad para capturar elementos estilísticos, aunque no siempre de manera consistente.

MusicFX:

• Presenta limitaciones significativas en la variedad de instrumentación, a menudo recurriendo a sonidos de cuerdas punteadas.
• Tiene dificultades para producir resultados que se ajusten a las solicitudes específicas en la mayoría de las categorías.

Udio:

• Destaca en la generación de música de piano que captura el estilo de Chopin, incluyendo detalles interpretativos sutiles.
• Muestra cierta capacidad para fusionar estilos, aunque a menudo favorece el estilo de Chopin sobre otros.

Conclusiones por categoría:

Nocturno de Chopin (estilo original):

• MusicGEN y Udio muestran los mejores resultados, capturando elementos característicos de Chopin.
• Otras IAs tienden a producir música de piano genérica o desviarse hacia otros estilos.

Chopin interpretado por una banda de rock progresivo:

• La mayoría de las IAs tienen dificultades para fusionar estos estilos de manera efectiva.
• Algunas IAs se centran exclusivamente en el aspecto de rock progresivo, perdiendo los elementos de Chopin.

Chopin en el estilo de Bach:

• En esta categoría no encontramos ningún acierto.

Chopin en el estilo de un raga indio clásico:

• MusicGEN muestra el mejor resultado en esta categoría, logrando una fusión reconocible de ambos estilos.
• La mayoría de las otras IAs tienden a favorecer un estilo sobre el otro o producir algo completamente diferente.

Nocturno de Chopin como si fuera una ópera:

• MusicGen y Stable Audio sí consiguen añadir elementos operísticos.
• El resto de IAs no logran capturar los elementos operísticos o mantienen la música centrada en el piano.