AI-Veiligheid Is Een Wereldwijd Publiek Goed

Vrij naar Nathan Gardels, hoofdredacteur van Noema, 21 september 2024

Toen de spanningen in de Koude Oorlog in 1955 toenamen, publiceerden Albert Einstein en de filosoof Bertrand Russell een manifest waarin ze vooraanstaande wetenschappers en anderen uit Oost en West opriepen om samen te komen, "niet als leden van deze of gene natie, continent of geloofsovertuiging, maar als mensen, leden van de soort Mens", om te waarschuwen voor het existentiële gevaar van kernwapens en om manieren voor te stellen om die dreiging te verminderen.

De eerste conferentie van ongeveer dertig wetenschappers die werd georganiseerd als reactie op deze oproep, vond plaats in Pugwash, Nova Scotia in 1957. In de loop der jaren bleek deze wetenschappelijk gefundeerde "dialoog over grenzen heen", die bekend werd als de Pugwash-conferentie, invloedrijk bij het bereiken van verschillende mijlpalen in de controle van kernwapens, waaronder het Partial Test Ban Treaty, het Non-Proliferation Treaty, het Anti-Ballistic Missile Treaty en conventies over chemische en biologische wapens. Voor deze inspanningen werd de conferentie in 1995 bekroond met de Nobelprijs voor de Vrede.

De opkomst van steeds krachtigere kunstmatige intelligenties in de context van geopolitieke rivaliteit tussen het door de VS geleide Westen en China heeft geleid tot de organisatie van een even urgente uitwisseling over de grenzen heen, genaamd de International Dialogues on AI Safety, georganiseerd door het Safe AI Forum.

De inspanning bestaat uit toonaangevende fundamentele AI-wetenschappers uit zowel China als het Westen, waaronder de Turing Award-winnaars Yoshua Bengio, Andrew Yao en Geoffrey Hinton, onder anderen, waaronder Ya-Qin Zhang, de voormalige president van Baidu. De eerste bijeenkomst werd gehouden in Bletchley Park, de thuisbasis van de codebrekers uit de Tweede Wereldoorlog, buiten Londen in 2023. In 2024 kwam de groep bijeen in Beijing in het Aman Summer Palace. De dialoog heeft zojuist haar derde conclaaf afgerond - en de meest substantiële consensus tot nu toe bereikt - in het Casa dei Tre Oci van het Berggruen Institute in Venetië.

"Snelle vooruitgang in de mogelijkheden van kunstmatige intelligentiesystemen brengt de mensheid dichter bij een wereld waarin AI de menselijke intelligentie ontmoet en overtreft", luidt hun verklaring. "Deskundigen zijn het erover eens dat deze AI-systemen waarschijnlijk in de komende decennia zullen worden ontwikkeld, waarbij velen van hen geloven dat ze binnenkort zullen arriveren. Verlies van menselijke controle of kwaadwillig gebruik van deze AI-systemen kan leiden tot catastrofale gevolgen voor de hele mensheid. Helaas hebben we nog niet de nodige wetenschap ontwikkeld om het gebruik van dergelijke geavanceerde intelligentie te controleren en te beschermen. De mondiale aard van deze risico's van AI maakt het noodzakelijk om AI-veiligheid te erkennen als een wereldwijd publiek goed en te werken aan wereldwijd bestuur van deze risico's. Gezamenlijk moeten we ons voorbereiden om de daarmee gepaard gaande catastrofale risico's af te wenden die zich op elk moment kunnen voordoen."

De groep deed drie hoofdaanbevelingen. Ze worden hier volledig gerapporteerd vanwege de historische betekenis van het bereiken van de allereerste consensus onder toonaangevende wetenschappers uit zowel het Oosten als het Westen over een gemeenschappelijke basis voor het reguleren van AI als een wereldwijd publiek goed.

~~~~~~~~~~~~~~~~~

Overeenkomsten en instellingen voor noodvoorbereiding

Staten moeten het eens worden over technische en institutionele maatregelen die nodig zijn om zich voor te bereiden op geavanceerde AI-systemen, ongeacht hun ontwikkelingstijdschaal. Om deze overeenkomsten te vergemakkelijken, hebben we een internationaal orgaan nodig om AI-veiligheidsautoriteiten samen te brengen, dialoog en samenwerking te bevorderen bij de ontwikkeling en uiteindelijke auditing van AI-veiligheidsvoorschriften in verschillende rechtsgebieden. Dit orgaan zou ervoor zorgen dat staten een minimale set effectieve veiligheidsmaatregelen aannemen en implementeren, waaronder modelregistratie, openbaarmaking en struikeldraden.

Na verloop van tijd zou dit orgaan ook normen kunnen stellen voor en zich ertoe verbinden verificatiemethoden te gebruiken om binnenlandse implementaties van het Safety Assurance Framework af te dwingen. Deze methoden kunnen wederzijds worden afgedwongen via prikkels en boetemechanismen, zoals het afhankelijk maken van de toegang tot markten op basis van naleving van wereldwijde normen. Deskundigen en veiligheidsautoriteiten zouden incidentrapportage- en noodplannen moeten opstellen en de lijst met geverifieerde praktijken regelmatig moeten bijwerken om het huidige wetenschappelijke inzicht te weerspiegelen. Dit orgaan zal een cruciaal eerste coördinatiemechanisme zijn. Op de lange termijn zullen staten echter verder moeten gaan om echt wereldwijd bestuur van risico's van geavanceerde AI te garanderen.

Kader voor veiligheidsgarantie

Frontier AI-ontwikkelaars moeten aan binnenlandse autoriteiten aantonen dat de systemen die zij ontwikkelen of implementeren geen rode lijnen overschrijden, zoals die gedefinieerd in de IDAIS-Beijing consensusverklaring verbiedt de ontwikkeling van AI-systemen die autonoom hun makers kunnen repliceren, verbeteren, macht zoeken of misleiden, of die het mogelijk maken massavernietigingswapens te bouwen en cyberaanvallen uit te voeren].

Om dit te implementeren, moeten we verdere wetenschappelijke consensus opbouwen over risico's en rode lijnen. Daarnaast moeten we drempels voor vroege waarschuwing vaststellen: niveaus van modelcapaciteiten die aangeven dat een model een rode lijn kan overschrijden of bijna kan overschrijden. Deze aanpak bouwt voort op en harmoniseert het bestaande lappendeken van vrijwillige toezeggingen zoals verantwoord schaalbeleid. Modellen waarvan de capaciteiten onder de drempels voor vroege waarschuwing vallen, vereisen slechts beperkte tests en evaluaties, terwijl we moeten overstappen op strengere verzekeringsmechanismen voor geavanceerde AI-systemen die deze drempels voor vroege waarschuwing overschrijden.

Hoewel testen ons kan waarschuwen voor risico's, geeft het ons alleen een grofkorrelig begrip van een model. Dit is onvoldoende om veiligheidsgaranties te bieden voor geavanceerde AI-systemen. In plaats daarvan moeten ontwikkelaars een veiligheidscase met een hoog vertrouwen indienen, waarin ze aantonen dat hun systeemontwerp op een transparante, uitlegbare manier een lage kans op schade oplevert, zoals gebruikelijk is in andere veiligheidskritieke technische disciplines. Bovendien moeten veiligheidscases voor voldoende geavanceerde systemen organisatorische processen bespreken, inclusief prikkels en verantwoordingsstructuren, om de veiligheid te bevorderen.

Testen, evaluatie en assurance vóór implementatie zijn niet voldoende. Geavanceerde AI-systemen kunnen steeds vaker complexe interacties met meerdere agenten aangaan met andere AI-systemen en gebruikers. Deze interactie kan leiden tot opkomende risico's die moeilijk te voorspellen zijn. Monitoring na implementatie is een cruciaal onderdeel van een algemeen assurance-kader en kan continue geautomatiseerde beoordeling van modelgedrag, gecentraliseerde AI-incidenttrackingdatabases en rapportage van de integratie van AI in kritieke systemen omvatten. Verdere assurance moet worden geboden door geautomatiseerde runtime-controles, zoals door te verifiëren of de aannames van een veiligheidscase nog steeds standhouden en een model veilig af te sluiten als het in een omgeving buiten het bereik wordt gebruikt.

Staten spelen een belangrijke rol bij het waarborgen van veiligheidsgaranties. Staten moeten ontwikkelaars verplichten om regelmatig tests uit te voeren op relevante capaciteiten, waarbij transparantie wordt geboden door onafhankelijke pre-implementatie audits door derden die voldoende toegang krijgen tot het personeel, de systemen en de gegevens van ontwikkelaars die nodig zijn om de claims van de ontwikkelaar te verifiëren. Bovendien kunnen staten voor modellen die de drempelwaarden voor vroege waarschuwing overschrijden, eisen dat onafhankelijke experts de veiligheidscase van een ontwikkelaar goedkeuren voorafgaand aan verdere training of implementatie. Bovendien kunnen staten helpen ethische normen voor AI-engineering in te stellen, bijvoorbeeld door te verplichten dat engineers een individuele plicht hebben om het publieke belang te beschermen, vergelijkbaar met die van medische of juridische professionals. Tot slot zullen staten ook governanceprocessen moeten opzetten om adequate monitoring na implementatie te garanderen.

Hoewel er variaties kunnen zijn in de vereiste veiligheidsgarantiekaders op nationaal niveau, moeten staten samenwerken om wederzijdse erkenning en vergelijkbaarheid van kaders te bereiken.

Onafhankelijk wereldwijd AI-veiligheids- en verificatieonderzoek

Onafhankelijk onderzoek naar AI-veiligheid en -verificatie is van cruciaal belang om technieken te ontwikkelen om de veiligheid van geavanceerde AI-systemen te waarborgen. Staten, filantropen, bedrijven en experts moeten wereldwijd onafhankelijk AI-veiligheids- en verificatieonderzoek mogelijk maken via een reeks wereldwijde AI-veiligheids- en verificatiefondsen. Deze onafhankelijke fondsen zouden uiteindelijk moeten opschalen om een financieringsdoelstelling te behalen die neerkomt op een derde van AI-onderzoek en -ontwikkeling.

Naast fundamenteel AI-veiligheidsonderzoek zouden deze fondsen zich richten op het ontwikkelen van privacybeschermende en veilige verificatiemethoden, die fungeren als enablers voor binnenlands bestuur en internationale samenwerking. Deze methoden zouden staten in staat stellen om de evaluatieresultaten van een AI-ontwikkelaar op geloofwaardige wijze te controleren en of de in hun veiligheidscase gespecificeerde mitigaties aanwezig zijn. In de toekomst kunnen deze methoden staten ook in staat stellen om veiligheidsgerelateerde claims van andere staten te verifiëren, inclusief naleving van de Safety Assurance Frameworks en verklaringen van significante trainingsruns.

Uiteindelijk zou uitgebreide verificatie kunnen plaatsvinden via verschillende methoden, waaronder governance door derden (bijv. onafhankelijke audits), software (bijv. audittrails) en hardware (bijv. hardware-enabled mechanismen op AI-chips). Om wereldwijd vertrouwen te garanderen, is het belangrijk om internationale samenwerkingen te hebben die verificatiemethoden ontwikkelen en stresstesten.

Van cruciaal belang is dat, ondanks bredere geopolitieke spanningen, wereldwijd vertrouwde verificatiemethoden het mogelijk hebben gemaakt, en opnieuw mogelijk kunnen maken, dat staten zich committeren aan specifieke internationale overeenkomsten.

~~~~~~~~~~~~~~~~

De zwaartekracht van kennis

Net als bij de uitdaging van kernwapens tijdens de Koude Oorlog, is er een divergentie ontstaan, tussen de nationale wetenschappers die de technologie als eerste ontwikkelden en de grootste angsten koesteren over het gebruik en misbruik ervan, en degenen die het opschalen en inzetten voor hun eigen doel of winst.

De vele miljarden die door Big Tech in AI worden gestoken, gecombineerd met toenemende zorgen over de nationale veiligheid in zowel Oost als West, hebben het momentum van AI-ontwikkeling definitief in de handen van de meest ambitieuze en minst voorzichtige gelegd. Alleen het ethische gewicht van een groep onpartijdige wetenschappers die de gravitas bezitten om de technologie van binnenuit te kennen, heeft een kans om die asymmetrie te corrigeren.

Chinese en westerse AI-wetenschappers komen bijeen in Casa dei Tre Oci van het Berggruen Institute in Venetië, Italië.

Van links naar rechts: AI-pioniers Stuart Russell, Andrew Yao, Yoshua Bengio en Ya-Qin Zhang in Casa dei Tre Oci in Venetië, Italië. (Massimo Pistore/IDAIS

Deel uw gedachten met ons. Stuur een e-mail naar feedback@noemamag.com.

UITGEVER: Nicolas Berggruen
EDITORIAL BOARD: Orhan Pamuk, Pankaj Mishra, Dambisa Moyo, Rocio Martinez-Sampere, Patrick Soon-Shiong, Onora O’Neill, Elif Shafak, Reid Hoffman, Walter Isaacson, Arianna Huffington, Pico Iyer, Yoichi Funabashi, Fareed Zakaria, Helle Thorning-Schmidt, Kathleen Miles, Nathan Gardels, Bing Song
EDITORIAL TEAM: Nathan Gardels, hoofdredacteur; Kathleen Miles, uitvoerend redacteur; Nils Gilman, adjunct-hoofdredacteur; Peter Mellgard, adjunct-hoofdredacteur; Tami Abdollah, hoofdredacteur; Jennifer Prohov, redacteur publieksgroei; Amara Higuera, kunstredacteur; JoAnna Klein, feitenchecker; Mani Chandy, redacteur nieuwsbrief; Alex Gardels, video-editor; Joe Zadeh, gastschrijver; Jennifer Bourne, adjunct-hoofdredacteur en vertaler; Claire Isabel Webb, adjunct-hoofdredacteur; Jonathan Blake, adjunct-hoofdredacteur
Noema Magazine - Bradbury Building, 304 S. Broadway, Suite 500, Los Angeles, CA 90013
Voorkeuren | Afmelden