Als Komponist für Videospiele, Produktion Music andere Medien frage ich mich oft, wie AI die musikalische Landschaft verändern wird und ob sie sich in meine tägliche Arbeit integrieren lässt, um z.B. repetitive Prozesse zu automatisieren, oder um neue kreative Ansätze schaffen. Deshalb habe ich mich in der letzten Zeit intensiv mit verschiedenen AI Music Tools auseinandergesetzt und möchte in diesem Post einige meine Erfahrungen mit euch teilen.
Meiner Meinung nach lassen sich AI Music Programme grob in zwei Kategorien gliedern.
Programme, welche ohne vorgefertigte Samples und Loops arbeiten und so den Song von Grund auf mit eigenen Midi Sounds generieren.
Programme, welche die Songs mittels vorgefertigten von Künstlern generierten Loops und Samples generieren.
Nummer 1) geht oft auf Kosten der Soundqualität, da eine wirklich gut klingende Sample Library und die Midi Automation, Mischung und Layering sehr komplex sind und die AI zumindest jetzt noch nicht das Level eines menschlichen Komponisten erreicht hat. Dafür wirken die Kompositionen organischer und weniger blockartig im Vergleich zu Tools der Kategorie 2).
Bei der Kategorie 2) ist die Soundqualität i.d.R. besser, da die von den Musikern eingespielten Loops mehr “Power” und Ausdruck haben. Dafür kommen die blockartig zusammengesetzten Songs etwas starr daher. Ich denke zudem, dass Tools der Kategorie 2) sich nur wenig von gängigen Stock Music Plattformen wie z.B. Pond5 abheben. Ein Unterschied ist sicher, dass sich damit “einzigartige” Songs generieren und besser editieren lassen, da Einfluss auf Tempo, Tonart und Arrangement genommen werden kann.
Nachfolgend möchte ich euch nun einen kurzen Überblick über zwei der bekannteren Tools geben.
Was ist AIVA
AIVA (Artificial Intelligence Virtual Artist) ist eine AI-basierte Musikkompositionsplattform und folgt der Kategorie 1). Mit ihr lassen sich von Grund auf neue Songs generieren. Dabei können Parameter wie Länge, Genres, Tempi und Tonarten definiert werden. Integriert ist ein Minieditor, ähnlich einer DAW, der es erlaubt nachträglich Änderungen am Song vorzunehmen. Es ist so möglich verschiedene Effekte wie EQ, Kompressor, Delay, Reverb miteinzubinden, oder die zugrundeliegenden Midi Files der einzelnen Spuren zu verändern, um so z.B. die Melodie oder die Akkorde anzupassen. Es werden keine vorproduzierten Loops und Samples zusammengefügt, wie es bei anderen Programmen wie Soundraw (dazu später), Soundful und Evoke Music der Fall ist. Je nach Abo lassen sich die Kompositionen als WAVs, Stems, oder Midi Dateien herunterladen. Spannend ist, dass sich eigene Referenztracks hochladen lassen. Die AI komponiert daraufhin anhand der Vorlage einen vergleichbaren Track inklusive Variationen. Hier muss man jedoch aufpassen nur Songs zu verwenden, von welchen man auch das Copyright und allfällige andere Rechte besitzt. Andernfalls macht mach sich theoretisch strafbar, da man AIVA mit dem Upload das non-exklusive Recht erteilt damit die AI zu trainieren.
Abb.1 Editor AIVA
Einige Gedanken dazu
Meine Euphorie zu Beginn wurde schnell dadurch gebremst, dass die Qualität der einzelnen Songs im Moment zumindest noch sehr dürftig ist. Es besteht zwar die Möglichkeit nur die Midi Files herunterzuladen, um sie mit eigenen Sounds zu bearbeiten, jedoch ist es enorm zeitaufwendig, um ein einigermaßen akzeptables Resultat zu bekommen. Deshalb denke ich ist die Software für professionelle Musikproduktionen zurzeit nicht relevant. Ich kann mir jedoch gut vorstellen, dass in naher Zukunft in den Bereichen EDM und anderer elektronischer Musik Genres akzeptable Ergebnisse erzielt werden können. Für orchestrale und andere akustische Genres wird es zudem spannend sein zu beobachten, ob die Qualität der Midi Instrumente durch mögliche Fusionen namhafter Hersteller wie Soundiron, Spitfire, oder Native Instruments gesteigert werden kann (falls eine solche Zusammenarbeit von den Firmen überhaupt angestrebt wird).
Für frische Content Creator wie Game Designer, oder YouTube-Filmer, welche noch keinen hohen Anspruch an die musikalische Qualität haben und schnell etwas zur Hand haben möchten, kann es jedoch durchaus spannend sein mit AIVA zu arbeiten. Auch könnte die App vielleicht etwas für den Unterricht sein, um schnell ein Playalong zu kreieren. Ich bin auf alle Fälle gespannt, wie sich das Tool entwickeln wird.
Pro
Schnelle Ergebnisse mit vielen Variationen
Eingebauter Editor mit möglicher Midi Bearbeitung
Anhand von eigenen Referenztracks neue Tracks erstellen
Contra
Eher schlechte Soundqualität
Nachbearbeitung der Midi Files mit eigenen Sounds sehr zeitaufwendig
Copyright Falle bei eigenen Referenztracks
Trailer AIVA
https://www.youtube.com/watch?v=SR-UWkSTmAQ
Soundraw
Was ist Soundraw
Soundraw ist eine Musikproduktionssoftware, die speziell für mobile Geräte entwickelt wurde, aber auch im Browser verwendet werden kann. Benutzer können hier Songs erstellen, mischen und bearbeiten. Je nach Abo bietet die App eine Vielzahl von Funktionen, darunter die Möglichkeit, eigene Melodien und Beats zu erstellen, Instrumente zu programmieren, Effekte hinzuzufügen und Tracks zu mischen. Im Gegensatz zu AIVA werden hier die Songs mit vorgefertigten Klangbausteinen, Loops und SFX von der AI “nur” zusammengesetzt und nicht von Grund auf neu “komponiert”. Die Qualität der Songs wird dadurch besser als z.B. AIVA, jedoch klingt es dafür etwas starr, modulartig und repetitiv. Die einzelnen Bausteine lassen sich jedoch mit Effekten nachbearbeiten und auch in Tempo, Lautstärke und Arrangement verändern, um das Ganze etwas organischer klingen zu lassen. Beim Ausprobieren kam es ab und zu vor, dass Instrumente tonal nicht zu 100% zusammenpassten, so dass sich z.B. zwischen den Akkorden einer Gitarre und einer Melodie auf der Orgel in einem Rocksong störende Dissonanzen eingeschlichen haben. Die Gesamtqualität ist auch hier (noch) nicht auf dem Niveau einer professionellen Musikproduktion. Vergleichbare AI Music Tools wie Evoke Music machen hier soundtechnisch einen etwas besseren Job, lassen sich dafür weniger stark editieren.
Abb.2 Soundraw Editor
Meine Gedanken dazu
Auch wenn Soundraw etwas hölzern klingt und einzelne Genres wie z.B. Orchestral und Epic nicht wirklich qualitativ überzeugen können, bietet die Software eine Möglichkeit für Benutzer durch das Drop & Click Verfahren Musik zu generieren, ohne über umfangreiche musikalische Erfahrung oder Produktionskenntnisse zu verfügen. Gerade für Anfänger und Content Creator kann es deshalb durchaus spannend sein, da hier eher die Funktion eines DJs und nicht eines Komponisten eingenommen wird. Interessant ist das Tool vielleicht auch für den Unterricht, um schnell ein rudimentäres Playalong zu erstellen, da sich einzelne Parts wie Melodie, Drums, Akkorde etc. Muten lassen.
Pro
Intuitiv
Qualität je nach Genre ok
Schnelle Ergebnisse
Contra
Übergänge Bausteine zuweilen nicht smooth
Limitierte Genreauswahl
Instrumente passen tonal nicht immer zu 100% zusammen
Auf AI basierende Music Plug-ins
An dieser Stelle möchte ich noch auf AI-Tools verweisen, mit welchen sich zwar nicht Songs generieren lassen, welche aber in der Songproduktion für die Herstellung von Playalongs, oder zum Schreiben von Lyrics verwendet werden können.
Hier gibt es bereits ein breites Sammelsurium an Plug-ins für das Nachbauen von Synthpresets, Sound Effects, dem Restaurieren von Audio, Mischen und Mastern von Songs bis hin zum Organisieren von Sounds auf dem eigenen Computer, oder dem Herausfiltern von Vocals und anderen Instrumenten aus bestehenden Songs.
Für Letzteres gibt es z.B. das Tool Lalal.ai, mit welchem sich ganze Instrumentengruppen und mit gutem Resultat mit einem Click entfernen lassen, was speziell für den Unterricht, oder für Workshops interessant sein kann.
Ein Beispiel zur Restauration, bietet das Plug-in RX 10 von Izotope. RX-10 ist seit Jahren auch bei mir im Studio im Einsatz, um vor allem lästigen Hall von Audioaufnahmen schnell zu entfernen, um danach flexibler beim Editieren und Mischen zu sein.
Einen kleinen Überblick über weitere Tools findet ihr unter folgendem Video:
https://www.youtube.com/watch?v=jX4wBpZryuw&t=6s
Möglichkeiten des Generierens von Tracks
Zum Schluss möchte ich noch auf die verschiedenen Möglichkeiten der Eingabe in den verschiedenen Programmen hinweisen. Neben der Möglichkeit der einfachen Auswahl von Genre, Mood, Länge, Tonart etc. gibt es auch Programme, welche über Text Prompts funktionieren wie zum Beispiel Mubert, oder die Betaversion von MusicGen. Grundsätzlich lassen sich diese Programme auch den eingangs erwähnten Kategorien 1) und 2) unterordnen, da die Herstellung von Songs auch hier über vorgefertigte Bausteine, oder dem “von Grund auf” neuen Generieren über Midi erfolgt. Der Unterschied liegt hier im Input, also der Eingabenart des Nutzers.
Abschließend
Viele Fragen betreffend AI in der Musik sind noch offen. Wie wird mit dem Copyright von Songs künftig umgegangen, wie groß ist die Gefahr für Musiker, Komponisten, Produzenten und andere Kreative künftig von AI verdrängt zu werden? Wie wird es unseren Job verändern? Wie kann man damit umgehen?
Ich für meinen Teil versuche dem Ganzen zu begegnen, indem ich mich aktiv damit auseinandersetze. Ich versuche hier neben den möglichen Risiken vor allem mögliche Chancen der Adaption zu erkennen. Ich finde die Idee grundsätzlich spannend, AI künftig als Werkzeug besser in meinen eigenen Workflow (sei es als Performer, Produzent oder Musiklehrer) zu integrieren und damit auch neue, innovative und kreative Konzepte zu erforschen. Diesbezüglich gibt es bereits in der Computermusik verschiedene Projekte und Ansätze zur Integration von AI.
Es bleibt spannend!
Mit Gruss und Dank
Michel
Autor:
Michel Barengo
www.michelbarengo.com
