Denkwerk: Computerkunstenaars

Koen Vervloesem

In 2018 werd het schilderij Edmond de Belamy verkocht bij veilinghuis Christie’s in New York. De koper betaalde maar liefst 432.500 dollar, veel meer dan de 7.000 tot $ 10.000 dollar die men voor de veiling verwachtte. Was het omdat het Parijse kunstenaarscollectief Obvious (https://obvious-art.com) zo goed was? Nee, het was omdat de werkelijke kunstenaar een computer was, zoals te zien aan de handtekening rechts onderaan het schilderij: min_Gmax_DE_X[log(Dx))]+E_Z[log(1-D(G(z)))]

Edmond de Belamy was het resultaat van een generative adversarial network (GAN) en de handtekening maakte onderdeel uit van het algoritme. Het werd getraind op een verzameling van 15.000 portretten van de 14de tot de 19de eeuw uit de online kunstencyclopedie WikiArt. Daarna kon je met het systeem naar believen kunstwerken creëren in dezelfde stijl. Een van die resultaten was een wat vaag portret van een man in iets wat een kostuum lijkt, met een misvormd gezicht. Edmond de Belamy was het eerste door AI (artificial intelligence) gecreëerde kunstwerk dat bij Christie’s werd geveild. Obvious maakte nog andere portretten op dezelfde manier, in de collectie La Famille de Belamy (https://obvious-art.com/gallery-obvious/).

“Edmond de Belamy”, een portret dat volledig gecreëerd is door een neuraal netwerk

Eerder werk
Obvious was niet de eerste met deze aanpak. Generative adversarial networks worden al enkele jaren door kunstenaars ingezet. Bovendien gebruikten de Parijzenaars, die overigens zelf geen achtergrond in de kunst hebben, voor hun schilderijen een project van AI-kunstenaar Robbie Barrat (https://robbiebarrat.github.io), wat tot beschuldigingen leidde dat de inbreng van Obvious tot het resultaat minimaal was. De portretten die Barrat meer dan een jaar eerder maakte, lijken inderdaad in dezelfde stijl en in de GitHub-repository art-DCGAN (https://github.com/robbiebarrat/art-dcgan) van Barrat is duidelijk te zien dat leden van Obvious hem vragen stelden over hoe ze specifieke zaken met zijn code konden doen.

De portretten die Robbie Barrat in 2017 maakte zijn duidelijk in dezelfde stijl als Edmond de Belamy

Een bekende kunstenaar die al jaren algoritmische kunst genereert, is de Duitser Mario Klingemann (http://underdestruction.com). Ook hij gebruikt GANs. Zijn kunstwerk Memories of Passersby I uit 2018 toont twee portretten op beeldschermen naast elkaar, gegenereerd door een GAN. Onder de portretten staat een houten kastje op poten, waarin de hardware zit die de portretten genereert. De machine genereert op deze manier een oneindige stroom van unieke portretten, zodat het kunstwerk nooit hetzelfde is. Het systeem is getraind op portretten van de 17de tot de 19de eeuw.

Memories of Passersby I is een kunstwerk dat nooit hetzelfde is

Generative adversarial networks
De naam Belamy is een ode aan Ian Goodfellow, de uitvinder van generative adversarial networks: het Franse “bel ami” betekent “goede vriend”, een verwijzing naar Goodfellow. In 2014 publiceerde Goodfellow met enkele medewerkers zijn nieuwe concept in het artikel Generative Adversarial Networks (https://arxiv.org/abs/1406.2661).

Het idee achter deze GANs is dat je twee neurale netwerken met elkaar in competitie laat gaan, zodat ze elkaar trainen: de generator en de discriminator. Die eerste train je om patronen te herkennen, bijvoorbeeld in portretten. Die patronen zijn dan de regels van de kunstvorm, bijvoorbeeld dat een portret uit een gezicht bestaat met twee ogen, een neus, een mond enzovoort. Daarna laat je dit neuraal netwerk portretten genereren volgens dezelfde patronen.

De discriminator krijgt zowel de resultaten van de generator te zien als portretten uit de originele dataset en probeert te onderscheiden tot welk van de twee een portret behoort: is het een echt portret of een nagemaakt? Als dit neurale netwerk een gegenereerd portret herkent, stuurt het dit terug naar de generator. Die past dan enkele parameters aan en stuurt de aangepaste versie weer naar de discriminator.

Het trainingsalgoritme weet telkens of de discriminator een gegenereerd portret of een origineel aangeboden krijgt. Maakt de discriminator een fout, dan past die ook zijn parameters aan. Op deze manier trainen beide neurale netwerken elkaar. Dat gaat zo door tot de generator erin slaagt om een portret te genereren dat de discriminator niet kan onderscheiden van een origineel. Het resultaat levert een schilderij op in dezelfde stijl als de originelen.

Robbie Barrat creëerde ook deze landschappen getraind op schilderijen van landschappen uit WikiArt

GANisme
Voor mensen ziet een kunstwerk gemaakt door een generative adversarial network er vaak wat vreemd uit. De neurale netwerken herkennen immers wel basispatronen, maar hebben geen idee van de samenhang van een beeld. Daarom zijn de resultaten zo vaak vervormde lichamen, met vage randen en anatomische onmogelijkheden. François Chollet, de ontwikkelaar van de populaire bibliotheek voor neurale netwerken Keras, noemt deze kenmerkende kunststijl zelfs “GANisme”.

Robbie Barrats systeem creëert portretten in typische GANismestijl

Je kunt je de vraag stellen of dit allemaal nu wel kunst is: als je na het trainen maar op een knopje hoeft te duwen om een kunstwerk te produceren, waar is de creativiteit dan? En inderdaad lijken heel wat van de door GANs gegenereerde kunstwerken op elkaar, met hun kenmerkende afwijkingen en vele zelfs getraind op dezelfde openbare datasets van kunstwerken zoals die van WikiArt.

Maar in het trainen van de neurale netwerken kan ook heel wat creativiteit komen te zitten. In feite leert GANisme ons dat kunst niet hoeft te focussen op individuele kunstwerken: het kunstzinnige kan ook zitten in een heel kunstsysteem.

Sommige kunstenaars hebben dat al begrepen, zoals de Britse Anna Ridler (https://annaridler.com) die een GAN getraind heeft op haar eigen inkttekeningen. Die tekeningen waren gebaseerd op een filmversie uit 1928 van het korte verhaal The Fall of the House of Usher van Edgar Allan Poe. Het neurale netwerk heeft dan zijn eigen versie van de film gemaakt op basis van de inkttekeningen van Ridler. Het leverde een impressionistische beeldenstroom op die duidelijk Ridlers stijl droeg.

Deze tekeningen werden door een generative adversarial network gecreëerd op basis van tekeningen van Anna Ridler

Robotkunstenaars
Even indrukwekkend is het werk van Sougwen Chung (https://sougwen.com), een Chinees-Canadese kunstenaar. Ook zij trainde een neuraal netwerk op haar eigen tekeningen, maar ze programmeerde ook robots om samen met haar op een groot canvas op de vloer te tekenen voor een live performance.

Zelfs al zijn deze robots geprogrammeerd om in haar stijl te tekenen, Chung is naar eigen zeggen nog altijd regelmatig verrast door de tekeningen die uit de machines komen. Ze heeft zelfs elementen waarmee de robots haar verrasten, achteraf in haar eigen tekeningen opgenomen. Dit is dus een manier om meer over je eigen stijl als kunstenaar te weten te komen en jezelf zo te verbeteren. En zo helpt AI juist wel om creatiever te worden als kunstenaar.

En dat is misschien wel de toekomst van dit soort systemen: AI en mens die samenwerken om nog betere kunst te maken.

Sougwen Chung tekent samen met een robot die ze heeft getraind om in haar stijl te tekenen

Creatieve netwerken
Een GAN kan alleen maar beelden genereren die lijken op bestaande kunst uit de verzameling waarop de generator getraind is. De creativiteit is beperkt. Daarom kwamen enkele onderzoekers van Rutgers University in 2017 met een nieuw concept: Creative Adversarial Networks (https://arxiv.org/abs/1706.07068). De bedoeling: kunst creëren die nieuw is, niet té nieuw, maar stilistisch interessant doordat ze niet in één hokje past.

In wezen gebruikt een CAN dezelfde architectuur als een GAN met een generator en een discriminator. Maar met een groot verschil: de discriminator heeft toegang tot een grote database van kunstwerken met hun stijl, terwijl de generator tot geen enkele kunst toegang heeft. De generator begint dus willekeurige beelden te genereren, maar krijgt feedback van de discriminator of die het als kunst beschouwt of niet. De generator past dan zijn parameters aan om beelden te genereren die zoveel mogelijk op kunst lijken.

De discriminator geeft nog een tweede signaal aan de generator: hoe goed het gegenereerde beeld in een specifieke stijl past. De generator gebruikt die feedback juist om zijn model aan te passen om beelden te genereren die zo weinig mogelijk in één stijl passen. Het resultaat van deze twee tegenstrijdige signalen: een CAN genereert beelden die duidelijk kunst zijn, maar die de creatieve ruimte tussen of buiten bestaande stijlen verkennen en dus heel wat creatiever zijn.

Een creative adversarial network levert creatieve kunst op

 Zelf aan de slag
Voor wie zelf aan de slag wil als algoritmische kunstenaar, zijn er websites zoals Artbreeder (https://www.artbreeder.com) en programma’s zoals Runway ML (https://runwayml.com). Beide verwachten dat je een account aanmaakt, maar ze zijn gratis.

Bekijk zeker ook eens de website van Runway ML. Je vindt er onder andere heel wat experimenten van gebruikers (https://runwayml.com/madewith/), zoals gegenereerde gezichten en een machinaal geleerd lettertype. De moeite waard om eens te bekijken en om zelf wat met de toepassingen van GANs in kunst te experimenteren.

Met Runway ML maak je eenvoudig kunst of verander je de stijl van je foto’s