Workshop Muziek maken met AI

Onder redactie van c’t en Rob Coenraads

	Ledenvoordeel Dit artikel komt uit de special Alles over Artificiële Intelligentie. Als HCC-lid kun je deze met mooie korting kopen en ook nog eens zonder verzendkosten. Kijk hier voor meer info en ledenvoordeel.

Van alle manieren waarop AI effect heeft op de muziekproductie, heeft de wijze waarop het zang kan modelleren de grootste impact – en die trend staat nog maar in de kinderschoenen. Als het gaat over de mogelijkheid van AI om beroemde artiesten te imiteren, gaat het eigenlijk over maar één ding: geld. En dat zorgt in vrijwel alle gevallen natuurlijk voor problemen. We zitten nu in een soort stilte voor de storm. Er zijn opvallende gevallen geweest waarin AI-modellen van beroemde zangers het nieuws hebben gehaald. Zo gebruikte de band Breezer een door AI gegenereerde imitatie van  Liam Gallagher (o.a. ex-zanger Oasis), waar de zanger complimenteus over was, maar werd het anonieme door AI gegenereerde Drake-nummer geblokkeerd door Drakes platenmaatschappij. Op dit moment verdienen AI-modelleringsdiensten echter geld met het verkopen van het gebruik van modellen van beroemde zangers en maar weinig van die websites hebben het erover of de betreffende artiesten ook een deel van de winst krijgen.

Royalty’s

Er zijn maar enkele websites (zoals Kits) die een verdeling van de royalty’s vermelden met de oorspronkelijke artiesten op wie de AI-algoritmes gemodelleerd zijn. Bovendien hebben de artiesten van die dienst ook het laatste woord over commerciële releases. Een andere site, Musicfy, maakt ook duidelijk dat het zich bewust is van de ethische bezwaren die het gebruik van AI-modellen van echte, bekende stemmen oproept. ‘De potentiële toepassingen van AI-stemcloners variëren van entertainment tot toegankelijkheid’, aldus de site. ‘Het gebruik ervan vereist echter zorgvuldige overweging vanwege de ethische implicaties. Het is essentieel om deze technologie op een verantwoordelijke manier te gebruiken, met het besef dat grote macht gepaard gaat met grote verantwoordelijkheid.’ Het voelt dus een beetje alsof iedereen een beetje aan het duimen draaien is tot er enige juridische duidelijkheid komt of misschien zelfs op een opvallende rechtszaak om vooruitgang te boeken. Stel dat jij nu een zo’n bekende artiest bent, zou jij het dan goed vinden als je stem wordt gebruikt in een liedje, toespraak of andere soort uiting zonder dat daar een vergoeding tegenover staat?

Meedenkende artiesten

Terwijl we wachten op die mogelijke uitkomst, zitten de artiesten niet stil. De Amerikaanse zangeres en componist Holly Herndon gebruikt en promoot AI, en biedt zelfs een model van haar eigen stem aan, Holly+. Ook de Canadese zangeres Grimes heeft hulp aangeboden aan artiesten en fans die een model van haar stem willen gebruiken, zolang er een verdeling van royalty’s is. En je kunt je niet aan de indruk onttrekken dat dit een oplossing is waar iedereen blij mee is, waarbij de artiesten waar het AI-model op gebaseerd is een deel van de opbrengst krijgen. Of er een markt is voor albums van AI-artiesten is een andere kwestie. Zouden we een zelfgemaakte Beatles-track kunnen verkopen – wellicht onder de naam YesterdAI by the BeAItles? Waarschijnlijk niet. Maar als het goed en consciëntieus wordt gedaan, zou er een markt kunnen zijn – of op zijn minst veel nieuwsgierigheid genereren – voor ‘nieuwe’ muziek van bands die al lang niet meer bestaan of geen zin meer hebben om met iets nieuws te komen. AI-websites die zangstemmen creëren zijn in tweeën te delen: sites die eenvoudige tekst-naar-spraak bieden met een standaard model of modellen van bekende artiesten, en sites die zang aanbieden. Voor dat laatste zijn er genoeg nieuwe sites die continu opduiken en we hebben ook ontdekt dat veel daarvan ook andere diensten aanbieden, zoals standaard tekst naar spraak, muziek maken en zelfs AI-instrumentatie.

Workshops muziek maken

Hier vind je twee manieren hoe je muziek kunt maken. Allereerst leggen we stap voor stap uit hoe je beroemde stemmen met Lalals.com (gratis) kunt simuleren en uitproberen. Vervolgens laten we met Musicfy.lol zien hoe je onder andere complete muziekstukken kunt maken.

Beroemde stemmen met lalals.com

Van het groeiende aantal websites dat zang in verschillende stijlen aanbiedt, lijkt Lalals.com er alles aan te doen om simulaties van beroemde artiesten te maken met AI, met foto’s op de openingspagina. Je kunt dat gratis uitproberen.	Je moet eerst een account aanmaken. Daarna moet je een abonnementsmodel kiezen. We kozen voor de gratis optie waarmee je drie zangpartijen kunt maken waarbij per keer 20 seconden kan worden verwerkt

Met de gratis dienst kun je een zangpartij maken in de stijl van Ariana Grande, Travis Scott of Drake. Je moet daarvoor je eigen zangopname uploaden. Dat moet een a capella opname zijn, zonder enige bewerking of effecten, of instrumenten.	Nadat je je zangbestand hebt geüpload, gaat de machine learning aan het werk. Het past de zangstijl van de geselecteerde artiest toe op je opname. Een opname van vijf seconden was snel verwerkt, die was binnen een minuut voltooid.

Na afloop kun je de stem beluisteren. We waren behoorlijk onder de indruk van het resultaat. De stem was levensecht en vrij van artefacten. Je kunt de resultaten delen op je sociale netwerken, maar dat is het moment dat je moet upgraden om het te downloaden	Lalals.com is een van de meest eenvoudige websites die je kunt gebruiken en heeft heel veel zangmodellen om uit te kiezen, waaronder veel bekende artiesten en een aantal die duidelijk bedoeld zijn voor komische toepassingen

Muziek maken met Musicfy

Musicfy.lol richt zich niet zozeer op bekende artiesten, maar meer op het maken van parodieën en complete muziekstukken met behulp van AI. Toch kun je ook artiesten downloaden, hoewel het niet duidelijk is of ze gebaseerd zijn op echte beroemde artiesten. Je kunt met de dienst ook je audio gratis bewerken.

Je moet eerst een account aanmaken            of een Google-account gebruiken.            Je kunt kiezen uit vier opties:           Artists (voor zangers in verschillende           stijlen), Parodies (voor bekende           stemmen), Instrumentals en Music AI           (voor het maken van complete tunes).           Vervolgens upload je een           audiobestand van een stem,           zo onbewerkt mogelijk.

Je kunt vervolgens kiezen uit een selectie van beroemde mensen en personages. Zoals we al zeiden, zijn de beroemde zangers verborgen in de sectie Artist Vocals; de Parodies-algoritmes gaan meer over het maken van komische zang met beroemde stemmen, maar we wilden dat toch even uitproberen.	Druk op de Remix-knop en je geüploade stem neemt het geluid aan van de gekozen beroemdheid. Een clip van 12 seconden werd in 10 seconden verwerkt en voor we het wisten, hadden we een behoorlijk goede Trump-impressionist die onze zangpartij zong. Er trad wel wat vervorming op bij de hoge noten.

Veel sites bieden de mogelijkheid om liedjes te maken met behulp van AI. Bij Musicfy.lol kan dat ook. Kies Music AI uit een van de vier opties links en schrijf een muziekstijl die je wilt. We kozen voor ambient techno en country. Het duurde 40 seconden om een segment van 15 seconden te maken.	De country AI-muziek was goed en beter dan we van andere sites hebben gehoord, maar de technomuziek was verwarrend chaotisch en van lage kwaliteit.