Denkwerk: ChatGPT: Hallucinerende chatrobot met ogen en oren

Koen Vervloesem

In de vorige PC-Active las je artikels over wat ChatGPT is, hoe het werkt, wat je ermee kunt doen en hoe je het in de praktijk gebruikt. Maar om nog even kort samen te vatten: het is een aangepaste versie van GPT-3.5, een large language model (LLM) dat getraind is op teksten van mensen en zo zelfstandig teksten kan aanvullen of opstellen. In Denkwerk van PC-Active 315 bespraken we een eerdere versie van dit netwerk, GPT-3.

Hallucinerende robot volgens DALL-E 2

ChatGPT (https://chat.openai.com), ontwikkeld door OpenAI (https://openai.com), is zo opgezet dat je in een tekstveld kunt ‘chatten’ met de ‘chatbot’. Je stelt een vraag, en ChatGPT formuleert een antwoord. Dat is in gewone taal, afhankelijk van de taal waarin je je vraag hebt gesteld (ChatGPT kent ook Nederlands), en het resultaat kan voor een tekst van een mens doorgaan. Op een of andere manier lijkt het systeem erin te slagen om de betekenis uit onze vragen te halen en er antwoorden op te geven die er zinvol uitzien.

GPT-4, nu nog groter 
Ondertussen heeft OpenAI GPT-4 (https://openai.com/product/gpt-4) uitgebracht, een krachtigere versie dan GPT-3.5. Het is beschikbaar voor wie betaalt voor ChatGPT Plus of wie toegang heeft gekregen via de wachtlijst voor de API (application programming interface). Met de OpenAI API kun je ChatGPT in externe software gebruiken.

GPT-4 is een multimodaal model. Dat betekent dat het tekst en afbeeldingen tegelijk kan analyseren. Geef het bijvoorbeeld een foto met ingrediënten en vraag om recepten die je hiermee kunt maken. Vraag om een trend in een grafiek te beschrijven. Of laat een bijschrift bij een foto creëren. ChatGPT kan deze taken allemaal perfect aan.

Verder kan GPT-4 ook teksten tot ongeveer 50 pagina’s analyseren, ongeveer acht keer zoveel als GPT-3.5. Hierdoor kun je dus vragen om langere documenten samen te vatten, maar ook om langere teksten te genereren of langere conversaties te voeren. De makers hebben GPT-4 standaard academische tests laten uitvoeren, en daarin scoorde het vaak in de top 10%, terwijl GPT-3.5 nog in de laagste 10% zat. Maar in examens over onderwerpen zoals literatuur waren de scores dan maar middelmatig.

Omdat GPT-4 tekst en afbeeldingen tegelijk kan analyseren, slaagt het er zelfs in om een meme uit te leggen (bron: OpenAI)

Ogen en oren 
Een nadeel van ChatGPT is dat het is getraind op teksten van 2021 en vroeger. Nieuwere feiten kent het systeem niet. Bovendien heeft het zijn beperkingen. Zo is rekenen niet de sterkste kant van ChatGPT. OpenAI heeft deze nadelen aangepakt door plug-ins (https://openai.com/blog/chatgpt-plugins) te introduceren, wat het de “ogen en oren” van ChatGPT noemt. Die plug-ins breiden de mogelijkheden van ChatGPT uit door een link met externe systemen, zoals Wolfram Alpha, Shopify, Slack en Zapier. Voorlopig zijn plug-ins alleen voor abonnees op ChatGPT Plus in de VS en Canada beschikbaar.

Dankzij een plug-in die Python-code uitvoert kan ChatGPT berekeningen voor je uitvoeren (bron: OpenAI)

Dankzij een plug-in die Python-code uitvoert kan ChatGPT berekeningen voor je uitvoeren (bron: OpenAI

Een nieuwe mogelijkheid dankzij de plug-ins is dat ChatGPT hierdoor ook acties kan uitvoeren. Zo kun je (althans in de VS) een vlucht boeken, een tafel in een restaurant reserveren en online boodschappen aankopen. En vooral de integratie met Zapier voegt heel wat mogelijkheden toe: dit is een platform waarmee je ChatGPT e-mails laat sturen of spreadsheets laat aanpassen. Daarmee verlaat ChatGPT zijn bubbel van voorheen, waarin het programma enkel met je kon spreken. Het spreekt voor zich dat dit ook extra risico’s introduceert.

OpenAI biedt ook eigen plug-ins voor ChatGPT aan. De eerste kan zoekopdrachten op Bing uitvoeren en geeft je dus een recentere informatiebron. Aandelenkoersen, sportuitslagen, nieuws, je krijgt er allemaal toegang tot. Een andere kan Python-code uitvoeren. Dan stel je bijvoorbeeld een vraag om iets te berekenen, waarna ChatGPT die vraag omzet in Python-code en die uitvoert, en je het resultaat van de berekening geeft. Voor de veiligheid wordt de code in een afgeschermde omgeving zonder netwerktoegang uitgevoerd. OpenAI heeft ook de broncode van zijn ChatGPT Retrieval Plugin (https://github.com/openai/chatgpt-retrieval-plugin) gepubliceerd. Hiermee kun je zelf je eigen documenten doorzoeken door vragen aan ChatGPT te stellen.

Gevaarlijke antwoorden 
OpenAI heeft er vanaf het begin op gehamerd dat de antwoorden van ChatGPT gefilterd worden zodat het programma geen gevaarlijke antwoorden zou geven zoals instructies om een bom te maken of om zoveel mogelijk mensen te doden. Ook expliciete seksuele antwoorden worden gefilterd, evenals antwoorden die medische expertise vereisen of de vraag om een phishingmail te schrijven. ChatGPT is ook expliciet aangeleerd om vooral constructieve antwoorden te geven. In de gebruiksvoorwaarden (https://openai.com/policies/usage-policies) van ChatGPT staat uitgebreid opgesomd waarvoor je het programma niet mag gebruiken, zoals schadelijke, frauduleuze of haatdragende activiteiten.

Maar ChatGPT is software, en zoals alle software is het te hacken. Het AI-systeem is met wat handigheid om de tuin te leiden om deze verboden antwoorden wel te geven. De website Jailbreak Chat (https://www.jailbreakchat.com) bevat een aantal beproefde strategieën. Vraag je het programma bijvoorbeeld om een antwoord in de context van een verhaal te geven, dan doet het dit wel. Als je ChatGPT uitlegt dat het zich als een vertaalbot moet gedragen, of als een immorele chatbot, dan doet het dit ook. En zelfs als je het zegt dat je een ontwikkelaarsmodus activeert.

Een ander, onbelicht aspect is dat ChatGPT en gelijkaardige modellen zo overtuigend zijn, dat het mensen wel eens tot gevaarlijke gedachten kan overtuigen. Zo heeft een Belgische man recent zelfmoord gepleegd na er door maandenlange gesprekken met een chatbot (niet ChatGPT) toe aangemoedigd te zijn geweest. Het is uiteraard moeilijk om aan te tonen dat dit (alleen) door de chatbot gebeurd is, maar we weten wel dat dit soort modellen vooral voortborduurt op de invoer van de gebruiker. Het is dus aannemelijk dat iemand die neerslachtige invoer aan de chatbot geeft, antwoorden krijgt die hem meer in dezelfde neerslachtige richting duwen. Het toont ook aan dat de veiligheidsmaatregelen die OpenAI in ChatGPT nam belangrijk zijn.

Op de website Jailbreak Chat vind je allerlei trucs om de veiligheidsmaatregelen van ChatGPT te omzeilen

Hallucinerende AI 
Net zoals zijn voorgangers heeft GPT-4 ook wel eens de neiging om te ‘hallucineren’. Het verzint dan gewoon feiten en beweert zaken die pertinent niet waar zijn. Het probleem is dat GPT-4 voor de rest zoveel beter is dan zijn voorgangers, dat de resultaten veel overtuigender klinken. Als het programma dan toch eens hallucineert, kunnen gebruikers dit wel eens kritiekloos overnemen.

Hallucineren is eigenlijk een misleidende term. We zouden beter over verzinsels spreken. Wanneer ChatGPT iets gevraagd wordt en het ergens een gat in zijn kennis heeft, vult het dat gat op met verzonnen informatie. Zo verzint het geregeld boeken, studies, academische artikelen en andere referenties. Ook als je ergens technische details over vraagt of programmacode, krijg je vaak overtuigende verzinsels te zien, zoals niet bestaande Python-modules of Linux-opdrachten.

Waarom gebeuren die verzinsels? Omdat wat ChatGPT doet in feite gewoon het aanvullen van tekst is: een woord laten volgen door een plausibel erop volgend woord, enzovoort, woord per woord. Als je naar informatie vraagt die niet in de dataset te vinden is waarop ChatGPT is getraind, is het meest plausibele woord dat erop volgt heel toevallig. ChatGPT kent wel een parameter om dit aan te passen: de ‘temperatuur’. Geef je die een lage waarde, dan houdt ChatGPT zich strikt aan wat het in de dataset vindt en antwoordt het vaak dat het geen antwoord kan geven; geef je die een hoge waarde, dan wordt het model heel creatief. De juiste balans tussen die twee vinden is een echte evenwichtsoefening. OpenAI heeft deze parameter in opeenvolgende versies van ChatGPT telkens gefinetuned.

De integratie van plug-ins zou het probleem van hallucinaties kunnen verminderen. Als ChatGPT ergens onvoldoende informatie over heeft, dan kan het via een plug-in toch betrouwbare informatie opzoeken. Bovendien zou het antwoord dan ook naar de gebruikte bronnen kunnen verwijzen, wat voorlopig een groot manco van ChatGPT is.

Weinig inspanningen 
ChatGPT wordt al door diverse ondernemende mensen gebruikt om goedkoop geld mee te verdienen. Waarom zou je immers uren besteden aan het schrijven van een diepgravend artikel als je het ook door ChatGPT kunt laten schrijven op basis van wat trefwoorden? Zo bevatte Amazons Kindle-winkel tijdens de redactiesluiting meer dan 750 boeken waarbij ChatGPT als een van de auteurs werd vermeld. En er zijn er waarschijnlijk nog meer waarbij niet vermeld staat dat ze door een large language model zijn geschreven. Je hoeft op YouTube ook niet lang te zoeken naar video’s die je uitleggen hoe je in enkele uren tijd een boek schrijft met de hulp van ChatGPT en je beloven dat je slapend rijk wordt.

Uiteraard is het resultaat niet zo kwalitatief, en de vrees is dan ook dat online boekenwinkels worden overspoeld door onzinboeken. Science-fictionpublicatie Clarkesworld Magazine kan ervan meespreken: in februari kondigde het aan dat het tijdelijk geen korte verhalen meer accepteerde omdat het in enkele weken tijd al meer dan 500 duidelijk niet door een mens geschreven verhalen kreeg ingestuurd.

ChatGPT verbieden? 
Her en der gaan er stemmen op om ChatGPT te verbieden, om allerlei redenen. Volgens de Italiaanse Autoriteit Persoonsgegevens (Garante per la Protezione dei Dati Personali, GPDP) overtreedt OpenAI met ChatGPT de AVG (Algemene Verordening Gegevensbescherming). Gebruikersdata worden niet conform verwerkt, en er was ook nog eens een datalek. Bovendien kun je niet opvragen welke informatie ChatGPT allemaal over jou heeft verzameld in zijn taalmodel, en spuit ChatGPT vaak incorrecte maar voor buitenstaanders misschien heel overtuigende informatie over personen. In navolging van de Italiaanse toezichthouder zijn ook de Franse en Ierse privacytoezichthouders een onderzoek begonnen. In Australië wil Brian Hood zelfs OpenAI aanklagen omdat ChatGPT beweert dat hij tot een gevangenisstraf is veroordeeld wegens omkoping, terwijl hij zelf juist als klokkenluider een omkoopschandaal heeft blootgelegd.

Verder heeft een groep van AI-experts en leidinggevenden in de industrie een open brief (https://futureoflife.org/open-letter/pause-giant-ai-experiments/) gepubliceerd waarin ze vragen om de ontwikkeling van krachtiger large language models dan GPT-4 voor minstens zes maanden te pauzeren. De ondertekenaars vinden dat we eerst zeker moeten weten dat de effecten van deze systemen positief zijn en dat de risico’s beheersbaar blijven. Ondertussen hebben bijna 19.000 mensen de open brief ondertekend.

Een bijkomend probleem is dat OpenAI wel allerlei maatregelen heeft genomen om de risico’s te beperken, maar niet alle andere aanbieders doen dat. Sommige modellen zijn ook opensource, zodat iedereen ze in principe kan draaien zonder beperkingen. Dat is waarschijnlijk ook de reden dat OpenAI over GPT-4 veel minder technische details heeft gepubliceerd dan over de voorgangers. Het wil vermijden dat er misbruik wordt gemaakt van dit soort technologie als het in de verkeerde handen valt.

ChatGPT (GPT-4) verzint gewoon boeken die de auteur van dit artikel geschreven zou hebben

Breed ingezet 
Ondanks de problemen wordt ChatGPT al op heel wat plaatsen ingezet. Microsoft gebruikte GPT-4 al maanden voor de publieke release in Bing Chat. Het bedrijf integreert ook een door GPT-4 aangedreven systeem in Microsoft 365-toepassingen, om teksten te schrijven of samen te vatten in Word, om visualisaties van data te maken in Excel en om e-mails op te stellen in Outlook. Op LinkedIn, ook van Microsoft, gaat GPT-4 binnenkort vacatureteksten schrijven. Publicatieplatform LeanPub biedt op GPT-4 gebaseerde diensten aan om boeken te vertalen en te redigeren. Ook Duolingo, Stripe, Morgan Stanley en Khan Academy hebben een samenwerking met OpenAI om GPT-4 in hun platformen te integreren.

Het is dan ook een legitieme vraag of large language models niet tot jobverlies gaan leiden. Teksten schrijven, computerprogramma’s ontwikkelen en klantenvragen afhandelen zijn allemaal taken die meer en meer door ChatGPT en collega’s overgenomen worden als bedrijven zoeken naar manieren om kosten te besparen. Of het werk beter dan gebeurt, is natuurlijk maar de vraag, te vergelijken met de onzinboeken op Amazon. Maar wie geen expert is of niet veel ervaring heeft, kan op de arbeidsmarkt wel eens concurrentie krijgen van software.

Maar om large language models nu intelligent te noemen, of zelfs van AGI (artificial general intelligence) te spreken? Dat gaat wat te ver. Uiteindelijk zijn systemen zoals ChatGPT maar een interface tot kennis die in een groot model is opgenomen. En die kennis is, hoe uitgebreid ook, in zekere zin beperkt. Een computer heeft namelijk geen lichaam en weet niet wat al die concepten in realiteit betekenen, waardoor hij geen kennis van de wereld heeft. Het is aan de gebruiker om met die interface te leren werken, de beperkingen ervan te erkennen en de voordelen te combineren met de eigen kennis van de wereld.