AI's Hoeven Niet Helemaal Opnieuw Te Beginnen
Yuval Noah Harari spreekt met Joseph Gordon-Levitt op een Berggruen Institute-evenement op 26 september 2024 in Los Angeles. (Bron: Marco Gallico)
Hollywood cast AI verkeerd als de Terminator.
Saaie AI-bureaucraten, niet schurkenrobots, zijn het echte gevaar, zegt Yuval Noah Harari.
Vrij naar Nathan Gardels, hoofdredacteur van Noema
Als onderdeel van het project om de verhalenvertellers van Hollywood samen te brengen met historici, filosofen, wetenschappers en technologen, organiseerde Studio B van het Berggruen Institute onlangs een gesprek tussen Yuval Noah Harari en Joseph Gordon-Levitt.
De uitwisseling tussen de Israëlische historicus en de acteur, regisseur en producent richtte zich op hoe informatienetwerken die de verhalen overbrengen die mensen binden in collectieve actie de geschiedenis hebben gevormd - het thema van Harari's nieuwe boek, "Nexus". U kunt het hele gesprek dat werd gehouden in het voormalige Hearst Estate in Beverly Hills hier bekijken.
In een verder interview met Noema ging Harari dieper in op dit onderwerp en andere kwesties, van de rol van AI in Israëls oorlog tegen Hamas tot de noodzaak van checks and balances in democratieën waar de macht van perceptie zo verspreid is via sociale medianetwerken dat de publieke sfeer machteloos is, wat de sociale cohesie ondermijnt.
In het bijzonder bespraken we het metanarratief over AI dat in de populaire geest is geplant door Hollywoodfilms. Hollywood heeft het AI-verhaal gegoten in een verhaal van schurkenrobots die in opstand komen tegen hun meesters in films als "The Terminator" en "Blade Runner". Is dat het juiste beeld van AI dat we in gedachten moeten hebben, vroeg ik?
"Nee, het is volkomen misleidend!" antwoordde Harari. "Hollywood heeft een grote dienst bewezen door de aandacht van mensen te vestigen op het AI-probleem, lang voordat iemand anders er echt over nadacht. Maar het werkelijke scenario is misleidend, omdat de grote robotopstand nergens te bekennen is. En dit maakt helaas veel mensen die zijn opgegroeid met het 'Terminator'-imago zelfgenoegzaam. Ze kijken om zich heen, ze zien geen enkel Terminator-scenario als echt haalbaar. Dus zeggen ze dat alles in orde is."
Hij vervolgde: "Deze films portretteren een soort algemene AI die je gewoon in de wereld gooit en die het overneemt. Ze kunnen metalen in de grond delven, fabrieken bouwen en hordes andere robots samenstellen.
De AI's van vandaag zijn echter niet zo. Ze zijn geen algemene intelligentie. Ze zijn idioten. Ze zijn extreem intelligent op een heel beperkt gebied. AlphaGo weet hoe je Go moet spelen, maar het kan geen koekje bakken. En de AI's die door het leger worden gebruikt, kunnen het hoofdkwartier van Hamas identificeren, maar ze kunnen geen wapens bouwen.
Wat het filmische beeld tot nu toe mist, is dat de AI's niet helemaal opnieuw hoeven te beginnen. Ze worden in onze eigen systemen ingevoegd en ze kunnen onze systemen van binnenuit overnemen."
Harari geeft een parallel voorbeeld. "Denk aan advocaten. Als je denkt aan de beste advocaat in de Verenigde Staten, dan is deze persoon op een bepaalde manier een idiot savant. Deze persoon kan extreem deskundig en intelligent zijn op een heel, heel smal gebied, zoals vennootschapsbelastingrecht, maar kan geen koekje bakken en geen schoenen produceren. Als je deze advocaat neemt en hem of haar in de savanne laat vallen, zijn ze hulpeloos. Ze zijn zwakker dan welke olifant of leeuw dan ook.
Maar ze bevinden zich niet in de savanne. Ze bevinden zich in het Amerikaanse juridische en bureaucratische systeem. En binnen dat systeem zijn ze machtiger dan alle leeuwen ter wereld bij elkaar, omdat die ene advocaat weet hoe hij de hendels van het informatienetwerk moet bedienen en de immense macht van onze bureaucratieën en onze systemen moet benutten.
Dit is de macht die AI verwerft. … Het zijn de AI-bureaucraten, niet de Terminators, die de beslissingen zullen nemen. Daar moeten we ons zorgen over maken. Zelfs in oorlogsvoering kunnen mensen de trekker overhalen, maar de orders komen van AI-bureaucraten.”
Video van Yuval Noah Harari: Het gevaar van AI is miljoenen AI-bureaucraten
De banaliteit van gedachteloze AI-agenten
Met andere woorden, de veelheid aan AI's die in hun eigen beperkte domein handelen als "idiote savants", zich niet bewust van een grotere context, inclusief morele en ethische dimensies, zullen de genormaliseerde beslissingsagenten worden op belangrijke punten binnen het omvattende technocratische bestuur van het dagelijks leven. Ontlichaamde, anorganische intelligenties die handelen zonder begrip zullen integraal onderdeel worden van het functioneren van de menselijke beschaving.
Misschien omdat Harari Israëli is, schoot me toen hij sprak de beroemde opmerking van Hannah Arendt te binnen over "de banaliteit van het kwaad" tijdens het proces tegen de nazi-oorlogsmisdadiger Adolf Eichmann in 1961.
Zoals de filosoof Judith Butler heeft opgemerkt, bedoelde Arendt met deze opmerking niet dat het kwaad banaal was, maar dat het soort onbewuste, onverschillige en onnadenkende geest dat dergelijk kwaad beging een gewoon of banaal kenmerk was geworden van een systeem dat in staat was tot de taak van het uitroeien van de Joden.
“[Arendts] argument was dat Eichmann wellicht geen ‘intenties’ had, voor zover hij niet nadacht over de misdaad die hij beging,” schreef Butler. “Ze dacht niet dat hij handelde zonder bewuste activiteit, maar ze hield vol dat de term ‘denken’ gereserveerd moest worden voor een meer reflectieve modus van rationaliteit. … [Arendt zag dat] een nieuw soort historisch subject mogelijk was geworden met het nationaal socialisme, een waarin mensen beleid uitvoerden, maar niet langer ‘intenties’ hadden in de gebruikelijke zin.
‘Intenties’ hebben, was volgens haar reflectief nadenken over iemands eigen actie als een politiek wezen, wiens eigen leven en denken verbonden zijn met het leven en denken van anderen. Dus, in dit eerste geval, vreesde ze dat wat ‘banaal’ was geworden, niet-denken zelf was. Dit feit was helemaal niet banaal, maar ongekend, schokkend en verkeerd.”
Deze beschrijving van Eichmann als "een nieuw soort historisch onderwerp" past perfect bij Harari's karakterisering van AI-bureaucraten. Dat is niet om AI op de een of andere manier intrinsiek slecht te verklaren, maar om te wijzen op het vermogen van gedachteloze agenten om slechte gevolgen te veroorzaken.
Kun je de stekker uit een heel systeem trekken?
Het misplaatste Terminator-scenario heeft zelfs de manier waarop Big Tech denkt over zijn eigen rol en vermogen om zijn creatie te controleren, in kaart gebracht. Als AI-modellen te machtig worden en dreigen hun eigen beslissingen te nemen, lijkt Big Tech te denken dat ze gewoon de ser eruit kunnen trekken of een killswitch kunnen omzetten. Ik vroeg Harari of hij enig vertrouwen had in dat perspectief.
"Alleen op een heel kleine schaal", antwoordde hij. "Het is net als de Industriële Revolutie. Stel je een eeuw geleden voor, als al die kolen- en oliegiganten ons zouden vertellen: 'Weet je, als de industrie deze vervuiling veroorzaakt en het ecologische systeem in gevaar komt, trekken we gewoon de stekker eruit.' Hoe trek je de stekker uit de Industriële Revolutie?
Ze hebben een kleine storing in gedachten in één beperkt bedrijf of locatie of model. Als een ongeautoriseerde agent probeert kernraketten af te vuren, kan het proces worden stilgelegd. Dat kan. Maar daar schuilt het gevaar niet.
Er zullen talloze AI-bureaucraten zijn, miljarden wereldwijd, in alle systemen. Ze zitten in het zorgsysteem, het onderwijssysteem, in het leger. Als we na een paar jaar ontdekken dat we ergens een grote fout hebben gemaakt en de zaken uit de hand lopen, wat doe je dan? Je kunt niet zomaar alle legers en alle zorgsystemen en alle onderwijssystemen ter wereld stilleggen. Het is volkomen onrealistisch en misleidend om dat te denken.”
Video van Yuval Noah Harari: Het belangrijkste om te beseffen over AI
De tovenaarsleerling
Ondanks al het techno-optimisme dat wordt geïnspireerd door de veelbelovende sprongen van AI, van diepgaande wetenschappelijke ontdekkingen tot het elimineren van de sleur van routinearbeid, moeten de dystopische mogelijkheden die Harari heeft voorzien altijd in gedachten worden gehouden.
Terugkijkend naar het verre verleden en vooruitkijkend naar de verre toekomst, roept Harari de wijsheid van Goethes gedicht "The Sorcerer's Apprentice" in (gepopulariseerd in 1940 als een Disney-animatie met Mickey Mouse in de hoofdrol).
In dat verhaal, geschreven aan het begin van de Industriële Revolutie, eigent de leerling zich een van de spreuken van de afwezige tovenaar toe om de last van zijn klusjes te verlichten. Het gaat allemaal mis wanneer hij een bezem betovert om water te halen en het dan niet kan stoppen, wat leidt tot overstromingen van de werkplaats. Wanneer de tovenaar terugkeert, smeekt de leerling om hulp: "De geesten die ik heb opgeroepen, kan ik niet meer kwijtraken." De tovenaar verbreekt vervolgens de spreuk en redt de dag. "De les voor de leerling - en de mensheid - is duidelijk: roep nooit krachten op die je niet kunt beheersen", schrijft Harari in "Nexus". Het is het oproepen van algoritmische geesten "waar we onszelf niet van kunnen ontdoen" dat Harari zorgen baart. Het zou ons allemaal ook zorgen moeten baren. In tegenstelling tot het Disney-verhaal van Goethe is er geen transcendente magiër die dingen kan repareren zodra we de sleutels van het menselijk koninkrijk aan onze anorganische nakomelingen hebben overgedragen.
Deel uw gedachten met ons. Stuur een e-mail naar feedback@noemamag.com.
U kunt nu via Noa naar Noema-artikelen luisteren en ze ook lezen!
Zoek gewoon naar de pictogrammen "Luisteren" op onze homepage.