De grootste ontwikkelaars van geavanceerde AI hebben nog onvoldoende maatregelen om AI-systemen onder controle te houden als die zich onverwacht of mogelijk gevaarlijk gedragen. Vooral concrete plannen om een ontspoord AI-systeem in te dammen of uit te schakelen zijn nauwelijks openbaar. Dat blijkt uit onderzoek van Guidelight AI Standards.
Zes onderdelen
Guidelight onderzocht Anthropic, OpenAI, Google, Meta en xAI op zes onderdelen van AI-controle. Het gaat om het loggen van AI-activiteiten, het testen van controles, het beperken van risicovolle acties, het kunnen stilleggen van systemen, onafhankelijke controles en een zogenoemd containment plan voor ernstige incidenten.
Geen van de vijf bedrijven scoort op een van deze onderdelen hoger dan een gedeeltelijke implementatie. Anthropic en OpenAI komen gemiddeld het beste uit het onderzoek, beide met een score van 2,50 op een schaal van 5. Google volgt met 1,50, xAI komt uit op 0,83 en Meta sluit de rij met 0,67.
Noodplan ontbreekt
Vooral de resultaten rond het zogenoemde containment plan zijn opvallend. Daarmee wordt bedoeld dat vooraf wordt bepaald hoe een AI-systeem onder controle kan worden gebracht wanneer het zich niet meer betrouwbaar gedraagt.
OpenAI scoort op dit onderdeel 3 van de maximaal 5 punten en komt daarmee als beste uit de beoordeling. Google krijgt 2 punten en xAI 1 punt. Anthropic en Meta krijgen geen punten. Dat betekent volgens Guidelight niet dat deze bedrijven helemaal geen noodprocedures hebben, maar dat hiervoor onvoldoende openbare informatie beschikbaar is.
Op andere onderdelen loopt de aanpak eveneens sterk uiteen. Anthropic scoort relatief goed op monitoring en het blokkeren van risicovolle acties. Meta en xAI laten volgens het onderzoek juist weinig openbare informatie zien over dergelijke maatregelen.
Openbare informatie
De resultaten betekenen niet dat de onderzochte bedrijven helemaal geen veiligheidsmaatregelen hebben. Guidelight heeft uitsluitend gekeken naar openbaar beschikbare informatie. Een bedrijf kan intern dus uitgebreidere procedures hebben die niet openbaar worden gemaakt.
Toch vindt Guidelight het zorgelijk dat zo weinig concreet bekend is over de manier waarop AI-systemen in een ernstige noodsituatie kunnen worden ingeperkt. Naarmate AI-agenten meer zelfstandig taken uitvoeren en toegang krijgen tot software en digitale systemen, wordt zo'n noodprocedure steeds belangrijker.
Het onderzoek laat volgens Guidelight vooral zien dat de ontwikkeling van AI sneller gaat dan de ontwikkeling en openbare onderbouwing van maatregelen om deze systemen onder controle te houden.