Apocalyptische Visie

Vrij naar Daniel Immerwahr - De Apocalyptische Visie van Yuval Noah Harari

Zijn waarschuwing voor de gevaren van AI is alarmerend, maar helpt het ons ze te vermijden?

"Ongeveer 14 miljard jaar geleden ontstonden materie, energie, tijd en ruimte." Zo begint Sapiens: A Brief History of Humankind (2011), door de Israëlische historicus Yuval Noah Harari, en zo begon een van de meest verbazingwekkende academische carrières van de 21e eeuw. Sapiens heeft meer dan 25 miljoen exemplaren in verschillende talen verkocht. Sindsdien heeft Harari verschillende andere boeken gepubliceerd, die ook miljoenen keren zijn verkocht. Hij heeft nu zo'n 15 mensen in dienst om zijn zaken te regelen en zijn ideeën te promoten.

Hij heeft ze nodig. Harari is, na de Dalai Lama, misschien wel de figuur van wereldfaam die het minst online is. Hij gebruikt geen smartphone ("Ik probeer mijn tijd en aandacht te sparen"). Hij mediteert elke dag twee uur. En hij brengt elk jaar een maand of langer door op retraite, waarbij hij afziet van wat je alleen maar kunt aannemen als duizelingwekkende spreekhonoraria om in stilte te zitten. Harari is kaal, draagt een bril en is grotendeels veganistisch om het plaatje compleet te maken. Het woord goeroe wordt soms gehoord.

Harari's monastieke uitstraling geeft hem een krachtige aantrekkingskracht in Silicon Valley, waar hij wordt vereerd. Bill Gates heeft Sapiens aangeprezen. Mark Zuckerberg promootte het. In 2020 getuigde Jeff Bezos op afstand voor het Congres voor een bijna lege boekenkast, een verontrustende blik voor de oprichter van Amazon, de grootste boekverkoper ter wereld. Scherpzinnige kijkers zagen, tussen de zes eenzame titels die zich op de onderste linker plank verzamelden voor warmte, twee van Harari's boeken. Harari is voor de tech-CEO wat David Foster Wallace ooit was voor de Williamsburg-hipster.

Dit is een verrassende rol voor iemand die begon als bijna een parodie op de obscuriteit van professoren. Harari's eerste monografie, gebaseerd op zijn doctoraalscriptie in Oxford, analyseerde de genrekenmerken van de memoires van soldaten uit de vroege moderne tijd. Zijn tweede ging over militaire operaties van kleine troepen in middeleeuws Europa, maar alleen de niet-aquatische. De academische wereld, zo voelde hij, duwde hem richting "steeds nauwere vragen."

Wat Harari's koers veranderde, was het oppakken van Vipassana-meditatie en het akkoord gaan om een inleidende cursus wereldgeschiedenis te geven, een hot-potato-opdracht die normaal gesproken aan junior professoren wordt gegeven. (Ik kreeg dezelfde taak toen ik bij mijn afdeling kwam.) De epische schaal paste bij hem. Zijn lezingen aan de Hebreeuwse Universiteit van Jeruzalem, die de basis vormden voor Sapiens, vertelden het fascinerende verhaal van hoe Homo sapiens hun rivalen versloeg en de planeet overspoelde.

Harari is een behendige synthesizer met een brede nieuwsgierigheid. Komt fysieke kracht overeen met sociale status? Waarom vinden we gazons zo prettig? De meeste geleerden zijn te gespecialiseerd om zelfs maar zulke vragen te stellen. Harari duikt er meteen in. Hij deelt met Jared Diamond, Steven Pinker en Slavoj Žižek een ijver voor het breed theoretiseren, hoewel hij hen overtreft in zijn smaak voor provocerende vereenvoudigingen. In het middeleeuwse Europa, legt hij uit, "Kennis = Schrift x Logica", terwijl na de wetenschappelijke revolutie, "Kennis = Empirische Data x Wiskunde".

Verwarrende materie. Natuurlijk is er niets inherent leerzamer aan uitzoomen dan aan inzoomen. We leren van korte geschiedenissen van tijd en vijfdelige biografieën van Lyndon B. Johnson. Maar de recente uitvindingen van Silicon Valley nodigen uit tot nadenken in het brein van de Melkweg, zoals Harari bekend is. Hoe groter je de verstoringen om je heen voelt, hoe verder je teruggrijpt naar passende analogieën. Stanley Kubrick's 2001: A Space Odyssey vergeleek ruimteverkenning beroemd met de ontdekking van gereedschappen door apen.

Zijn zulke technologische sprongen goed geweest? Harari heeft twijfels. Mensen hebben "weinig geproduceerd waar we trots op kunnen zijn", klaagde hij in Sapiens. Zijn volgende boeken, Homo Deus: A Brief History of Tomorrow (2015) en 21 Lessons for the 21st Century (2018), keken met angst naar de toekomst. Nu heeft Harari een ander sinds-het-begin-der-tijd-overzicht geschreven, Nexus: A Brief History of Information Networks From the Stone Age to AI. Het is zijn meest grimmige werk tot nu toe. Hierin verwerpt Harari het idee dat meer informatie automatisch leidt tot waarheid of wijsheid. Maar het heeft geleid tot kunstmatige intelligentie, waarvan Harari de komst apocalyptisch beschrijft. "Als we het verkeerd aanpakken," waarschuwt hij, "zou AI niet alleen de menselijke heerschappij op aarde kunnen uitroeien, maar ook het licht van het bewustzijn zelf, waardoor het universum in een rijk van totale duisternis komt.”

Degenen die een precedent voor AI zoeken, halen vaak de drukpers met losse letters aan, die Europa overspoelde met boeken en leidde, zo zeggen ze, tot de wetenschappelijke revolutie. Harari rolt met zijn ogen bij dit verhaal. Niets garandeerde dat de drukpers voor de wetenschap zou worden gebruikt, merkt hij op. Copernicus’ On the Revolutions of the Heavenly Spheres verkocht zijn magere eerste druk van ongeveer 500 exemplaren in 1543 niet. Het was, grapte de schrijver Arthur Koestler, een “allerbeste verkoper aller tijden.”

Het boek dat wel verkocht was Heinrich Kramers The Hammer of the Witches (1486), waarin hij fulmineerde over een veronderstelde satanische samenzwering van seksueel vraatzuchtige vrouwen die copuleerden met demonen en de penissen van mannen vervloekten. De historicus Tamar Herzig beschrijft Kramers verhandeling als “waarschijnlijk de meest vrouwenhatende tekst die in de premoderne tijd in druk verscheen.” Toch was het “een bestseller naar vroegmoderne maatstaven”, schrijft ze. Met een greep op zijn lezers die Harari vergelijkt met die van QAnon, moedigde Kramers boek de heksenjachten aan die tienduizenden mensen het leven kostten. Deze moordpartijen, merkt Harari op, werden “verergerd” door de drukpers.

Grotere informatiestromen maakten ook de bewaking en tirannie erger, betoogt Harari. De Sovjet-Unie was onder andere “een van de meest formidabele informatienetwerken in de geschiedenis”, schrijft hij. Toen Aleksandr Solzjenitsyn in brieven klaagde over zijn leider, Jozef Stalin, nam hij de voorzorg om hem eufemistisch te noemen “de man met de snor”. Toch werden zijn brieven onderschept en begrepen, en werd Solzjenitsyn veroordeeld tot acht jaar in de Goelag. Veel van het materiaal dat Moskou verzamelde over de omstandigheden in het land was onbetrouwbaar of slecht begrepen, merkt Harari op. Maar die stroom papier voedde fantasieën over totale controle, die miljoenen Sovjetburgers het leven kostten.

Informatie heeft altijd dit destructieve potentieel gehad, gelooft Harari. Maar tot nu toe, zo betoogt hij, waren zelfs zulke helse episodes alleen dat: episodes. Demagogische manieën zoals die welke Kramer aanwakkerde, hebben de neiging fel te branden en uit te vlammen. Het is moeilijk om mensen in een voortdurende staat van opwinding te houden. Hun emotionele triggers veranderen en een verhandeling die hen ooit zou hebben aangezet om hun buren aan te vallen, zal een maand of een jaar later lachwekkend lijken.

Staten die worden geregeerd door top-down terreur hebben ook een duurzaamheidsprobleem, legt Harari uit. Zelfs als ze op de een of andere manier elke brief zouden kunnen onderscheppen en informanten in elk huishouden zouden kunnen plaatsen, zouden ze nog steeds alle binnenkomende rapporten intelligent moeten analyseren. Geen enkel regime is er in de buurt gekomen om dit te beheren, en voor de staten uit de 20e eeuw die het dichtst bij totale controle kwamen, maakten aanhoudende problemen met het beheren van informatie het basisbestuur moeilijk.

Dat was in ieder geval zo in het tijdperk van papier. Het verzamelen van data is nu veel, veel makkelijker. Een toekomstige Solzjenitsyn hoeft geen onbeschaafde brief in onhandige code via de overheidspost te sturen om zijn gedachten te laten onthullen. Een digitale dictatuur zou gewoon zijn zoekgeschiedenis kunnen controleren. Sommige mensen maken zich zorgen dat de overheid een chip in hun hersenen zal implanteren, maar ze zouden zich in plaats daarvan "zorgen moeten maken over de smartphones waarop ze deze complottheorieën lezen", schrijft Harari. Telefoons kunnen al onze oogbewegingen volgen, onze spraak opnemen en onze privécommunicatie naar naamloze vreemden sturen. Het zijn afluisterapparaten die mensen, verbazingwekkend genoeg, bereid zijn om naast het bed te laten liggen tijdens het vrijen.

Illustratie door Petra Péterffy. Bron: Nicolas Maeterlinck / Belga Photo / Alamy.

Harari's grootste zorg is wat er gebeurt als AI de chat binnenkomt. Momenteel wordt de massale gegevensverzameling, zoals altijd, gecompenseerd door de moeilijkheden van gegevensanalyse. We zijn gewend aan berichten van bijvoorbeeld de politie die onschuldige zwarte mensen arresteert op advies van gezichtsherkenningssoftware (algoritmen die zijn getraind op databases vol met foto's van blanke mensen, zoals velen, hebben moeite om onderscheid te maken tussen niet-blanke individuen). Zulke verhalen illustreren de risico's van het vertrouwen op algoritmes, maar ze kunnen vals comfort bieden door te suggereren dat AI te haperend is om te werken. Dat zal niet lang meer duren.

Welke verdediging zou er kunnen zijn tegen een entiteit die elk gezicht herkende, elke stemming kende en die informatie als wapen gebruikte? In het vroegmoderne Europa moesten lezers Kramers gestoorde verhandeling (het was in het Latijn geschreven) vinden, kopen en mogelijk vertalen om onder de betovering te vallen. De politieke waanzin van vandaag de dag wordt aangewakkerd door klikmaximaliserende algoritmen die mensen naar 'aantrekkelijke' content sturen, wat vaak is wat hun rechtvaardige woede voedt. Stel je voor wat er zal gebeuren, schrijft Harari, als bots die content zelf genereren, personaliseren en voortdurend aanpassen om de dopamine-receptoren van elke gebruiker te overspoelen. Kramers Hammer of the Witches zal aanvoelen als een milde suikerkick vergeleken met de heroïnekick van content die de algoritmen zullen verzinnen. Als AI de leiding neemt, zou het van ons allemaal horigen of psychopaten kunnen maken.

Dit zou kunnen gebeuren. Maar zal het ook gebeuren? Harari beschouwt AI als uiteindelijk onbegrijpelijk, en dat is zijn zorg. Toen een computer in 2016 de Zuid-Koreaanse Go-kampioen versloeg, was een zet die hij deed zo bizar dat het op een fout leek. De zet werkte, maar de programmeurs van het algoritme konden de redenering ervan niet verklaren. Hoewel we weten hoe we AI-modellen moeten maken, begrijpen we ze niet. We hebben achteloos een "buitenaardse intelligentie" opgeroepen, schrijft Harari, zonder enig idee wat die zal doen.

Vorig jaar ondertekende Harari een open brief waarin hij waarschuwde voor de "grote risico's voor de samenleving en de mensheid" die het ontketenen van "krachtige digitale geesten die niemand, zelfs hun makers niet, kan begrijpen, voorspellen of betrouwbaar kan controleren" met zich meebrengt. Het riep op tot een pauze van ten minste zes maanden in de training van geavanceerde AI-systemen, indien nodig ondersteund door de wet. Opmerkelijk genoeg ondertekenden enkele onderzoekers die deze systemen hadden ontwikkeld de brief, net als Elon Musk. De implicatie was dat AI zo krachtig is dat zelfs de uitvinders ervan er bang voor zijn.

Misschien, maar cynici zagen de brief als zelfzuchtig. Het voedde de hype door erop te staan dat kunstmatige intelligentie, in plaats van een buggy product met beperkt gebruik, een baanbrekende ontwikkeling was. Het toonde de morele ernst van techleiders in de stijl van Oppenheimer. Toch kostte het hen niets, omdat er geen kans was dat hun onderzoek daadwerkelijk zou stoppen. Vier maanden na ondertekening lanceerde Musk publiekelijk een AI-bedrijf.

Harari staat boven de strijd van de Silicon Valley-politiek. De hoop is dat zijn verheven uitkijkpunt hem in staat zal stellen verder te kijken. Maar net zoals het mogelijk is om te nauw gefocust te zijn en door de bomen het bos niet meer te zien, is het ook mogelijk om te ver weg te zoomen en door het zonnestelsel het bos niet meer te zien. Hoewel Harari een goede gids is voor hoe toekomstige technologieën de democratie (of de mensheid) kunnen vernietigen, is hij minder behulpzaam bij de huidige economie die die technologieën voortbrengt.

De economie van het informatietijdperk is verraderlijk geweest. Ze hebben content goedkoper gemaakt om te consumeren, maar minder winstgevend om te produceren. Denk aan het effect van de gratis-content- en gerichte-advertentiemodellen op de journalistiek: sinds 2005 zijn de Verenigde Staten bijna een derde van hun kranten en meer dan twee derde van hun krantenbanen kwijtgeraakt, tot het punt waarop bijna 7 procent van de krantenmedewerkers nu voor één organisatie werkt, The New York Times. In de Verenigde Staten van de 21e eeuw - op het hoogtepunt en in het centrum van de informatierevolutie - spreken we van "nieuwswoestijnen", plaatsen waar verslaggeving in wezen is verdwenen.

AI dreigt dit te verergeren. Met betere chatbots hoeven platforms geen koppelingen te maken naar externe content, omdat ze deze synthetisch zullen reproduceren. In plaats van een Google-zoekopdracht die gebruikers naar externe sites stuurt, zal een chatbot-query die sites samenvatten, waardoor gebruikers binnen de ommuurde tuin van Google blijven. Het vooruitzicht is geen netwerk met een miljoen links, maar een bubbel in de stijl van Truman Show: persoonlijk gegenereerde content, voorgelezen door stemmen die echt klinken maar dat niet zijn, plus product placement. Naast andere problemen zou dit schrijvers en uitgevers – degenen die daadwerkelijk ideeën genereren – afsnijden van lezers. Onze intellectuele instellingen zouden wegkwijnen en het internet zou verworden tot een gesloten lus van “vijf gigantische websites, elk gevuld met screenshots van de andere vier,” zoals software-engineer Tom Eastman het noemt.

Harari heeft weinig te zeggen over de erosie van onze intellectuele instellingen. In zekere zin is hij symptomatisch voor de trend. Hoewel Harari van vlees en bloed is, is hij Silicon Valley’s ideaal van wat een chatbot zou moeten zijn. Hij plundert bibliotheken, detecteert de patronen en kookt de hele geschiedenis terug tot opsommingstekens. (Moderniteit, schrijft hij, “kan worden samengevat in één zin: mensen stemmen ermee in om betekenis op te geven in ruil voor macht.”) Hij heeft een heel boek geschreven, 21 Lessons for the 21st Century, in de vorm van een lijst. Voor lezers wiens aandacht verslapt, levert hij in rap tempo grappige weetjes.

Dit alles is afkomstig van Harari's brede leeservaring. Toch heeft hij, net als een chatbot, een quasi-antagonistische relatie met zijn bronnen, en ik lees ze zodat jij dat niet hoeft te doen. Hij graaft andere schrijvers af voor materiaal - een leuke grap, een veelzeggende anekdote - maar lijkt zelden ingenomen met de standpunten van anderen. Bijna alle geleerden noemen in hun dankbetuigingen de gesprekspartners die hen inspireerden of uitdaagden. In Nexus erkent Harari geen enkele intellectuele invloed buiten zijn zakelijke relaties: dank aan zijn uitgevers, zijn redacteuren en het "interne onderzoeksteam bij Sapienship" - dat wil zeggen, zijn werknemers.

Zijn ascese is hier ook relevant. Harari mediteert, zegt hij, om te voorkomen dat hij "verstrikt raakt in" of "verblind wordt door" menselijke "ficties". De implicatie is dat alles wat er is, in zekere zin, een val is. Intellectueel gezien is Harari meer een geheelonthouder dan een kenner; op de een of andere manier is het makkelijker om hem diep in zijn eigen gedachten te zien dan verdiept in een serieus boek.

Harari's afstand tot het hier en nu vormt hoe hij AI ziet. Hij bespreekt het als iets dat gewoon is gebeurd. De komst ervan is niemands schuld in het bijzonder. Aan het begin van Nexus haalt Harari, als een parabel, Johann Wolfgang von Goethe's verhaal van de tovenaarsleerling aan, over een goedbedoelende maar arrogante beginner die tovert met een magie die buiten zijn bereik ligt. Mensen hebben de neiging om "krachtige dingen te creëren met onbedoelde gevolgen", beaamt Harari, hoewel hij Goethe verwijt dat hij de schuld bij een individu legt. Volgens Harari "komt macht altijd voort uit samenwerking tussen grote aantallen mensen"; het is het product van de samenleving.

Dat is zeker waar, maar waarom hebben we het überhaupt over de tovenaarsleerling? Kunstmatige intelligentie is geen "oeps." Het is iets waar wetenschappers al tientallen jaren doelbewust aan werken. (Het AI-project bij MIT, dat nog steeds actief is, werd in 1959 opgericht.) Deze inspanningen zijn ook niet gedreven door nieuwsgierigheid. Individuele AI-modellen kosten miljarden dollars. In 2023 ging ongeveer een vijfde van het durfkapitaal in Noord-Amerika en Europa naar AI. Zulke bedragen zijn alleen zinvol als technologiebedrijven enorme inkomsten kunnen genereren uit hun product, door het te monopoliseren of op de markt te brengen. En op die schaal zijn de meest voor de hand liggende kopers andere grote bedrijven of overheden. Hoe zeker zijn we ervan dat het geven van meer macht aan bedrijven en staten goed zal uitpakken?

AI wordt misschien geen buitenaardse intelligentie met eigen doelen. Maar ervan uitgaande dat het werkt, zal het een formidabel wapen zijn voor iedereen die rijk genoeg is om het te hanteren. Handwringen over de mogelijkheid dat AI-ontwikkelaars de controle over hun creatie verliezen, zoals de tovenaarsleerling, leidt af van het meer plausibele scenario dat ze de controle niet verliezen en dat ze het zullen gebruiken of verkopen zoals gepland. Een betere Duitse fabel is misschien De Ring van de Nibelungen van Richard Wagner: een machtsbeluste incel smeedt een ring waarmee de eigenaar de wereld kan regeren, en de goden voeren er oorlog over.

Harari's blik is meer gericht op de horizon dan op de economie of politiek van Silicon Valley. Dit kan leiden tot diepe inzichten, maar het levert ook onbevredigende aanbevelingen op. In Nexus stelt hij vier principes voor. Het eerste is 'welwillendheid', uitgelegd als volgt: 'Wanneer een computernetwerk informatie over mij verzamelt, moet die informatie worden gebruikt om mij te helpen in plaats van mij te manipuleren.' Wees niet slecht - check. Wie zou het oneens zijn? Harari's andere drie waarden zijn decentralisatie van informatiekanalen, verantwoording van degenen die onze gegevens verzamelen en enige verlichting van algoritmische bewaking. Nogmaals, deze zijn prima, maar ze zijn snel, niet verrassend en - vooral wanneer ze in het abstract worden uitgedrukt, als dingen waar 'wij' allemaal naar zouden moeten streven - niet erg behulpzaam.

Harari sluit Nexus af met een uitspraak: "De beslissingen die we allemaal nemen in de komende jaren" zullen bepalen of AI "een hoopvol nieuw hoofdstuk" of een "terminale fout" blijkt te zijn. Ja, ja, hoewel zijn aanhoudende meervoudsvorm in de eerste persoon ("beslissingen die we allemaal nemen") zachtjes suggereert dat AI de collectieve creatie van de mensheid is in plaats van het product van bepaalde bedrijven en de individuen die ze runnen. Dit verhult de belangrijkste actoren in het drama - ironisch genoeg, net zoals die actoren ons intellectuele leven ondermijnen en de robuuste, geïnformeerde debatten belemmeren die we nodig hebben om de beslissingen te nemen die Harari voor ogen heeft.

AI serieus nemen zou kunnen betekenen dat we de bedrijven die het ontwikkelen rechtstreeks confronteren. Activisten die zich zorgen maken over de concentratie van economische macht spreken - met details - over antitrustwetgeving, strengere regulering, transparantie, data-autonomie en alternatieve platforms. Misschien moeten grote bedrijven worden opgebroken, zoals AT&T.

Harari is duidelijk niet tegen. Zijn waarden lijken dergelijke maatregelen te rechtvaardigen, vooral omdat sommige van de nachtmerrieachtige what-if-scenario's die hij schetst, te maken hebben met oncontroleerbare bedrijven (en staten). Toch past Harari gemakkelijk in het dominante wereldbeeld van Silicon Valley. Ondanks zijn vaak genoemde digitale onthouding, is hij een voorbeeld van de stijl van het verzamelen en presenteren van informatie. En, zoals velen in die wereld, combineert hij technologisch dystopisme met politieke passiviteit. Hoewel hij denkt dat techgiganten, bij de verdere ontwikkeling van AI, de mensheid zouden kunnen vernietigen, beschouwt hij het dwarsbomen ervan niet als een urgente prioriteit. Zijn epische verhalen, verteld als verhalen over de mensheid als geheel, laten niet veel ruimte voor dergelijke wij-tegen-zij-conflicten.

Harari schrijft goed op de schaal van de soort. Als boek bereikt Nexus niet het hoogtepunt van Sapiens, maar het biedt een boeiende visie op hoe AI catastrofaal zou kunnen worden. De vraag is of Harari's groothoeklens ons helpt te zien hoe we dat kunnen voorkomen. Soms moet je voor het beste uitzicht van de bergtop afdalen.