Favoritdelar av Tänkande maskiner av Olle Häggström
Nedan är de delar från boken som Martin Smedjeback tyckte var mest intressanta. Jag har läst av texten med hjälpa av en app (som troligtvis använda AI!) så där kan ha smugit in sig vissa fel.
I FÖLJANDE PASSAGE från 1951 var Alan Turing långt före sin tid med att diskutera vad skapandet av AGI och superintelligens kan föra med sig:
”Jag vågar påstå att maskiner kan konstrueras som med stor precision simulerar det mänskliga tänkandet. [...] Låt oss för resonemangets skull anta att detta är en verklig möjlighet, och se vilka konsekvenser konstruktionen av sådana maskiner skulle föra med sig. [...] Det förefaller troligt att det, när väl tänkande maskiner kommit igång, inte skulle dröja länge innan våra ömkliga förmågor akterseglades. Att maskinerna skulle dö kommer inte på fråga, men de skulle kunna kommunicera inbördes för att skärpa sina sinnen. Till slut bör vi därför räkna med att de tar över kontrollen.”
Resonemangen ovan kring AI-assisterad bedömning av människor i rättsväsendet och i andra sammanhang visar tydligt att det här med AI och dess framtida användning är en fråga som inte rimligtvis kan överlåtas till teknikbranschen att ensam hantera. Frågan har helt enkelt alltför stora konsekvenser för samhället och våra liv för att kunna anförtros en specialiserad teknikelit. Vi har alla, som ansvarskännande medborgare, både rätten och i viss mån också en skyldighet att lägga oss i.
Automatiserad bedömning av människor och den därmed sammanhängande risken för automatiserad diskriminering är dessutom inte den enda, och knappast heller ens den viktigaste, AI-frågan av detta slag. Betrakta följande knippe brännande frågor.
Hjälp av AI-teknik förvärras och till slut blir så översvämmat av desinformation att vi inte längre kan hitta pålitliga nyhetskällor?
• Hur hejdar vi den begynnande kapprustning inom AI-teknik för flygande robotvapen som annars riskerar att göra världen farligare? Dessa drönare kan komma i många olika utföranden, från något som utåt sett knappt skiljer sig alls från konventionella stridsflygplan, till svärmar av tusentals eller miljontals insektsstora tingestar programmerade att attackera enskilda människor. Om vi misslyckas med att hejda denna destruktiva gren av teknikutvecklingen ställs vi inför den kanske ännu svårare utmaningen att hindra att tekniken sprids och hamnar i händerna på terrorister.
Låt oss, trots att det utgör en överförenkling, beteckna de punkterna i den första listan som frågor av jordnära (vilket givetvis är ett relativt begrepp) karaktär, medan de fyra i den andra listan får beteckningen högtflygande. De kommer alla att behandlas i denna bok, liksom fler därtill. Redan de jordnära frågorna är svåra, men de högtflygande tenderar att vara ännu svårare, och en bidragande orsak till det är att de inbegriper framtida händelser som (oaktat schimpansjämförelsen) inte har några riktigt bra motsvarigheter i historien och vår hittillsvarande erfarenhet.
Två vettiga och till stor del överlappande förslag som lagts fram är att intelligens är »den egenskap som möjliggör för en entitet att fungera ändamålsenligt och med förutseende i sin miljö« < och att det är »> förmågan att korrekt uppfatta sin omvärld och handla på ett sätt som maximerar ens chanser att uppnå givna mål.
AGI vars intelligens alltså inte är begränsad till någon specifik uppgift. Istället har den alla de förmågor som ligger till grund för mänsklig intelligens: kort- och långtidsminne, logiskt tänkande, matematisk förmåga, geometrisk och spatial visualisering, mönsterigenkänning, induktion, planering, kreativitet, social manipulation och många andra. En maskin som besitter alla dessa förmågor på mänsklig nivå eller högre sägs vara en AGI. Om dess intelligens därtill vida överstiger den mänskliga, över hela linjen, så sägs den besitta superintelligens - en term som populariserades av den egensinnige svenskfödde Oxfordfilosofen Nick Bostrom i hans banbrytande bok Superintelligens: Vägar, faror, strategier, vilken vi flera gånger kommer att ha anledning att återkomma till.
Från början av 2010-talet och framåt är AI-forskningen hetare än någonsin, och de spektakulära framstegen i olika slags tillämpningar från brädspel till videomanipulation och självkörande bilar har kommit slag i slag. Politiska ledare i USA, Kina, Europa och på annat håll talar vitt och brett om hur viktigt det är för det egna landet att satsa på AI-utveckling, forskningsfinansiärer tävlar om vem som satsar mest på området, och forskare som vill få en del av kakan omdefinierar ivrigt sina gamla favoritprojekt för att passa under den lite flexibla rubriken AI.
Under tidigare decennier led av begränsade datorresurser och begränsad tillgång till data, jämfört med hur datorerna nu blivit så kraftfulla och datamängderna så stora att den konnektionistiska ansatsen börjat bära frukt.
Antal transistorer per areaenhet på integrerade kretsar: utvecklingen under många decennier varit exponentiellt snabb med en fördubblingstid hos prestandan på 18 till 24 månader. Dessa trender brukar lite löst hänvisas till som Moores lag, vilken dock då den formulerades 1965 avsåg specifikt fallet med hur tätt transistorerna ligger på integrerade kretsar. Över tid rör det sig om en dramatisk utveckling, något jag fick en personlig förnimmelse av när jag någon gång 2017 eller så höll en USB-sticka i min hand som jag precis inhandlat för en femtiolapp, och som bar på 16 GB (gigabyte)
AI-teknik för autonoma vapen - eller mördarrobotar som är en de med en något mindre polerad term kallas obehagligaste sidorna av dagens AI-utveckling. Vi står idag på randen till vad som kan bli en mycket farlig kapprustning på det området. En bild av hur farligt det kan bli ges i det öppna brev med rubriken Autonomous Weapons: An Open Letter from AI and Robotics Researchers (https://futureoflife.org/open-letter/open-letter-autonomous-weapons-ai-robotics/), initierat av Future of Life Institute undertecknat av tusentals forskare världen över, som uppmanar till moratorium för utveckling av autonoma vapen. I brevet ges en allvarsam bild av vart en sådan kapprustning kan leda, med betoning på att de nya vapnen till skillnad från kärnvapen inte kräver några kostsamma eller svårtillgängliga råvaror, och därför kan väntas få en helt annan spridning:
Det är bara en tidsfråga innan [vapnen] dyker upp på den svarta marknaden och i händerna på terrorister, diktatorer som vill öka kontrollen över den egna befolkningen, krigsherrar med avsikt att genomföra etnisk rensning, etc. Autonoma vapen är idealiska för lönnmord, folkförtryck, destabilisering av nationer, och det selektiva dödandet av specifika etniska grupper. Vi tror av dessa skäl att en militär AI-kapprustning inte vore till gagn för mänsklighetenj.
Sådana övergångsstadier utan att vidga de ekonomiska klyftorna ofantligt och utan att skapa social instabilitet? Det här är svåra frågor som vi inte har tydliga svar på idag, men de som ges landar ofta i förslag som inbegriper medborgarlön: ett ovillkorat bidrag till alla medborgare. Med allt färre i arbete som kan beskattas kan medborgarlön lämpligen finansieras med skatt på kapitalinkomster. Mer specifika finansieringsmetoder, som exempelvis en särskild robotskatt, har också föreslagits. Historikern Rutger Bregman förespråkar entusiastiskt ett införande av medborgarlön snarast möjligt.
Med hänvisning till motiverat med en variant av medborgarlön, vilken de dock på oklara grunder väljer att benämna negativ inkomstskatt. Om vi till slut ändå löser den ekonomiska frågan och lyckas skapa ett samhälle där ingen behöver arbeta men alla ändå har adekvat ekonomisk försörjning, så återstår en annan fråga: vad kommer folk att göra av sin tid? Kommer vi överhuvudtaget att finna någon mening i livet om vi inte behöver arbeta för vår försörjning? Ibland hörs pessimistiska tongångar i den frågan, men när jag ser mig omkring bland folk jag känner ser jag ofta en stor förmåga att skapa mening i livet. Det kan, för att återknyta till Kjell Höglunds sång, handla om »kärlek och kultur«, och jag ser inte riktigt varför lönearbetets avskaffande nödvändigtvis skulle stoppa oss från att även fortsättningsvis känna mening i så vitt skilda aktiviteter som bordtennis, skateboardåkning, fjällvandring, trädgårdsskötsel, haikudiktning, körsång, godnattläsning för en fyraåring, eller att äta en bit mat och dricka ett glas vin i sällskap med människor man tycker om.
Det finns också mer handfasta sätt att ta sig an frågan om tidtabell för framtida AGI. Det mest kända exemplet är förmodligen Silicon Valley-gurun Ray Kurzweils prediktioner på 00-talet. Kurzweil kombinerade extrapolering av Moores lag (den exponentiella ökningstakt i datorers hårdvaruprestanda som diskuterades i Kapitel 2) in i framtiden med antagandet att hårdvaruprestanda är den avgörande flaskhalsen i skapande av AGI, och att vad som behövs är att uppnå beräkningskapacitet i nivå med den mänskliga hjärnan. Detta ledde honom till den närmast absurt exakta prediktionen om ett AGI-genombrott år 2045. Det ingick säkert ett element av avsiktlig provokation i förutsägelsen, men oavsett det så anser de flesta bedömare att antagandena är så överförenklade att den inte förtjänas att ta på något större allvar.
För egen del lutar jag åt att ett AGI-genombrott nog är att vänta förr eller senare. Vad gäller tidpunkt är jag lika osäker som många andra: det kan dröja ett århundrade eller mer, eller det kan röra sig om några få decennier. Men skulle det kunna handla om bara något decennium eller några enstaka år?
En ännu extremare position rörande tidpunkt för det stora AGI-genombrottet vore att hävda att det redan har inträffat, och att vi helt enkelt inte vet om det. Jag räknar inte detta scenario som särskilt troligt, men det visar sig vid närmare beskådande vara svårt att påvisa såsom orimligt.
Allt han hävdar är att genombrottet kan komma att ske mycket plötsligt, och de argument som brukar anföras för att ett AGI-genombrott ligger åtminstone årtionden fram i tiden därför inte framstår som särskilt starka.
Här gäller det att hålla två tankar i huvudet. Å ena sidan verkar det alltså inte som att vi kan utesluta ett mycket nära förestående AGI-genombrott. Å andra sidan så vore det överilat att peka på den mycket snabba utveckling som deep learning genomgår.
Fysikern Stephen Hawking varnade för att utvecklingen av AGI skulle kunna innebära slutet för mänskligheten. IT- och rymdtekniksentreprenören Elon Musk är inne på samma spår när han meddelar att AGI är mänskligheten existentiella hot och jämför ett sådant genombrott med de många sedelärande historierna om vad som kan hända om man släpper fram anden ur flaskan. Såväl Hawkings uttalande som Musks är från 2014, och båda är influerade av Nick Bostroms bok Superintelligens som kom ut på originalspråk samma år.
Isac Asimov - känd bland annat för sina robotnoveller från 1940-talet och framåt. Robotarna i hans värld är programmerade att följa hans tre robotlagar, nämligen
(1) att en robot inte får låta en människa komma till skada,
(2) att en robot måste lyda mänskliga order, och
(3) att en robot ska skydda sig själv från skada, där (1) har prioritet över (2) och (3), och (2) har prioritet över (3).
Det finns knappast någon anledning att tro att vår moralsyn skulle ha nått sin perfekta slutnivå, och det verkar ju exempelvis som att vi är på väg mot ett allmänt moraliskt uppvaknande i frågan om det ofantliga lidande som djurindustrin ger upphov till. Det med Bostroms ord, »mycket troligt att vi fortfarande dras med en eller flera allvarliga moraliska missuppfattningar.
Jämfört med de ofantliga satsningar som görs på forskning inom A1-området som helhet världen över är forskningen om Al-alignment och besläktade frågor kring hur ett AGI-genombrott kan styras mot gynnsamma utfall blott en droppe i havet. Detta är givetvis olyckligt, men knappast förvånande med tanke på hur nytt området är, och sedan Bostroms bok kom ut 2014 har läget förbättrats avsevärt: forskningen kring säker AGI har ökat kraftigt i omfattning, och dessutom förgrenat ut sig i ett stort antal nya inriktningar. Det sistnämnda gör området betydligt mer svåröverblickbart än tidigare, men är ändå positivt.
Det handlar om forskning som bedrivs vid Center for Human-compatible Artificial Intelligence (CHAI) som 2016 startade på University of California i Berkeley, under ledning av Stuart Russell som beskriver programmet utförligt i sin populärt hållna bok Human Compatible. Eftersom komplikationerna är många tar det honom tre kapitel om totalt xxx sidor att göra det, men han inleder med att formulera tre grundprinciper:
(1) Maskinens mål är att maximera realiserandet av människors preferenser.
(2) Maskinen är inledningsvis osäker på vilka dessa preferenser är.
(3) Den ultimata källan till kunskap om människors preferenser är deras beteende.
Ur ett moralfilosofiskt perspektiv kan också finnas skäl att ifrågasätta Russells fokus på just människors preferenser. Pekar inte det slags moraliska framsteg vi ser om vi betraktar historien, och som kan väntas fortsätta, mot att exempelvis djurs intressen också är viktiga att beakta? Russell nämner även den möjligheten, men menar att det kan tas om hand via våra egna preferenser.
Ett känt exempel på hur till och med den mest framstående tänkare kan underskatta möjligheten till stabil samhällsutveckling finns i en essä från 1951 av filosofen Bertrand Russell, som blickade ut över världsläget och gjorde bedömningen att före århundradets slut (det vill säga senast år 2000) måste - med reservation för att något alldeles oförutsägbart sker« , någon av följande tre händelser inträffa:
1. Slutet på mänskligt liv, eller kanske rentav allt liv överhuvudtaget på vår planet.
2. En återgång till barbari efter en katastrofal minskning av världens befolkning.
3. Ett enande av världen under en enda global regering, som har monopol på alla betydande militära vapen.
Om vi lyckas undvika en AI-apokalyps innebär inte det automatiskt att risken för mänsklighetens undergång är undanröjd, då det även finns andra risker vi står inför som i värsta fall kan innebära slutet för vår art, och som därmed kan räknas som existentiella risker. Filosofen Toby Ord har författat en viktig bok som behandlar sådana risker och hur vi bör se på dem: The Precipice: Existential Risk and the Future of Humanity.
Ord följer konventionen på området genom att dela upp riskerna i två kategorier: de naturliga och de antropogena (det vill säga av oss människor skapade). Det kanske mest kända exemplet på naturlig existentiell risk är risken för att jorden ska träffas av en tillräckligt stor asteroid,
Det som först slår en när man tar del av Ords sannolikhetsuppskattningar är hur starkt i linje de är med intuitionen att det i närtid är de antropogena riskerna som dominerar. När han lägger samman sannolikheterna för olika slags naturligt orsakade existentiella katastrofer det närmaste århundradet landar han i en total sannolikhet om 1 på 10 000. Motsvarande sammanläggning av de antropogena riskerna ger en sannolikhet om 1 på 6 för existentiell katastrof under samma tidsperiod. Undergångsrisken till följd av asteroidnedslag, supervulkaner och andra naturliga källor framstår i jämförelse som försumbar. 1 på 6 är strax under 17 %, och precis den dödssannolikhet man får i rysk roulette med en kula i magasinet, vilket också i runda slängar sammanfaller med den sannolikhet spelmarknaden ett par veckor före det amerikanska presidentvalet 2016 gav händelsen att Donald Trump skulle vinna.
Med tanke på hur mycket som står på spel är det en fasansfullt hög sannolikhet. Av skäl jag redan diskuterat bör siffran tas med en rejäl nypa salt, men observera att det inte automatiskt betyder att en mer välinformerad sannolikhetsbedömning skulle hamna lägre - det är också fullt möjligt att den skulle bli högre.
Hur fördelar sig då dessa 17 % enligt Toby Ords bedömning? Högst sannolikhet tilldelar han risken för en AI-katastrof, som får 10 %, och på andra plats kommer artificiellt skapade pandemier med sannolikhet 1 på 30, det vill säga cirka 3 %. Måhända något överraskande är de låga sannolikheter för mänsklighetens utplåning han ger både globalt kärnvapenkrig och global uppvärmning, som tilldelas vardera 0,1 %.
I fallet med globalt kärnvapenkrig är det - tvärtemot en vanlig föreställning - omöjligt med dagens kärnvapenarsenaler att ta kål på hela mänskligheten i själva kärnvapenattackerna, så undergångsrisken ligger snarare i konsekvenserna av den atomvinter som väntas följa på ett sådant krig.
En av dem handlar om ett antal nationer som alla spenderar stora pengar på militära försvar, och där alla skulle tjäna på om alla nationer drog ned militärutgifterna till hälften, men att ingen törs göra det på egen hand inför risken att dra på sig angrepp från mer rustade grannar. Ett annat av hans exempel handlar om den slags miljöproblematik som benämns allmänningens tragedi, och som kan exemplifieras med ett stort antal individer vilka var och en lever goda liv som blir extra lyxiga av de CO₂-utsläpp de gör sig skyldiga till; alla är medvetna om att de totala utsläppen leder till katastrof och skulle önska att alla utsläpp upphörde, men ingen är beredd att ensidigt ge upp sitt lyxliv eftersom det skulle göra en så liten skillnad för totalen.
Om vi undviker undergången Precipice, som karaktäriseras av dess abnormt höga nivå av existentiell risk. Ord konstaterar helt riktigt att The Precipice inte kan bli varaktig: antingen lyckas vi reducera risknivån till nära noll, eller också går det förr eller senare åt pipan - och sannolikt förr snarare än senare. Som räkneexempel kan användas den undergångsrisk om 1 på 6 per århundrade som Ord höftar till med som nuvarande risknivå: under antagandet att den risknivån består har vi visserligen 83 % sannolikhet att överleva i 100 år till, vilket (för den som inte räds rysk roulette) kan låta hoppfullt, men när århundrade läggs till århundrade krymper överlevnadssannolikheten successivt, så att den efter 1000 år är nere i 16 %, efter 2000 år i 2,6 %, och efter 3000 år i 0,4 %. Det betyder att vi givet den risknivån kan överleva ett årtusende eller två förutsatt en rejäl dos flax, medan längre tidsrymder än så inte är något att hoppas på.
Ord förordar därför, med stöd i longtermismen, att vi behöver reducera risknivån rejält. När man står inför en avgrund som man riskerar att falla ned i gäller det att ta sig därifrån. Om vi lyckas med det och får ned risken till en låg nivå så har vi lagt The Precipice bakom oss, varvid det är dags för The Long Reflection - en period om hundratals eller rentav tusentals år.
Ett skäl till pessimism på denna punkt är att projektet att tänka ut vilken väg vi bör gå kan komma att visa sig så svårt att vi behöver hjälp av antingen superintelligent AGI eller av långtgående transhumanistisk förbättring av vår egen tankeförmåga - vilka båda utgör precis det slags steg som Ords skiss till färdplan säger att vi bör undvika till dess vi är färdiga med The Long Reflection. Ett annat skäl är det som jag i inledningen av detta kapitel anförde mot Bullerbyscenariot: framstegstanken är så hårt rotad i vår kultur att det är svårt att se hur vi ska kunna uppbåda den återhållsamhet som behövs. Det är sant att en rad av ledarfigurerna i 1940-talets Manhattanprojekt kände initial tveksamhet inför att skapa det massförstörelsevapen som de insåg skulle föra mänskligheten in i The Precipice (fastän just den termen inte skulle införas förrän närmare 80 år senare), men rädslan för att Hitler skulle ta till kärnvapen om man hann före gjorde att de ändå valde att ta steget.
Får tro nyhetsrapporteringen från OpenAI har de börjat tänka i liknande banor rörande AGI. Men inget är ristat i sten, och vi kan fortfarande ta oss samman. Nick Bostrom har en metafor i vilken han jämför vår teknologiska utveckling med en hingst som galopperar fram över fälten, och vår klokskap med ett föl på stapplande ben.
Ännu mer pockande än rymdkolonisering, vad gäller potentiellt nödvändiga och samtidigt riskabla steg för eliminering av existentiell risk, är dock den oroande tanken att avancerad AI-styrd och mer eller mindre total massövervakning kan komma att behövas för att avvärja undergången. Ett sådant steg mot ett totalitärt samhälle kan bli en ohygglig social fälla, och det bör inte tas lättvindigt, men ett par av de ledande tänkarna inom existentiell risk - Nick Bostrom och Phil Torres - har från var sitt håll kommit fram till en bild som reser frågan om inte det faktiskt kan bli nödvändigt.
Preliminärt lutar jag, influerad av bland andra filosofen Daniel Dennett och kognitionsforskaren Douglas Hofstadter, åt att medvetande inte är reserverat enbart för kolbaserade biologiska varelser av kött och blod, utan även kan uppstå i andra sammanhang, som en AI implementerad på en kiselbaserad elektronisk dator. En grundidé hos båda dessa tänkare är att medvetande visserligen uppstår ur materia, men att det inte sker via någon mystisk medvetandesubstans som skulle finnas i kolatomer men inte i kiselatomer: det viktiga är inte vad för slags materia som utgör den underliggande substansen, utan vad materien gör. Detta kallas funktionalism, och mer specifikt förespråkar både Dennett och Hofstadter versioner av det som kommit att kallas computational theory of mind (CTOM).
Jag är inte säker på hur denna tystnad ska tolkas, men gissar att det beror på ett slags neuro-chauvinism, där han utan vidare är beredd att acceptera realiteten och medvetandet hos vilkas algoritmer implementeras med hjälp av biologiska hjärnor, medan han inte är beredd att bevilja samma ynnest åt dem vilkas algoritmer realiserats med hjälp av Searle-engelsktalaren och en memorerad regelbok. Detta är ju i så fall ett chockerande brott mot den sandbergska benefit of the doubt-moral jag diskuterade ovan, och som går ut på att så länge någon beter sig som om hen var medveten så bör vi, om vi inte har synnerligen starka skäl att tro på motsatsen, tillerkänna hen medvetande.
AI-riskförnekeri
Kända namn som Steven Pinker och John Searle, men de utgör blott toppen på ett isberg, och den dystra sanningen är att stora delar av AI-debatten idag präglas av önsketänkande och svaga argument, där debattörerna i många fall verkar vara mer angelägna om att tona ned AI-risk än att föra en sakligt balanserad diskussion. I detta kapitel har det blivit dags att diskutera denna mörkare sida av AI-debatten som kan benämnas AI-riskförnekeri.
Bönder inte nödvändigtvis är de som är bäst skickade att bedöma jordbrukets långsiktiga framtid.
Ännu ett påfallande svagt argument är följande påstående som Steven Pinker levererar i den bästsäljande bok som i svensk översättning heter Upplysning nu: ”Såvitt jag vet finns det inga projekt för att bygga en AGI, inte bara för att det vore affärsmässigt tvivelaktigt utan för att idén knappt är begriplig.” Om ingen bygger AGI kan naturligtvis inte heller AGI-katastrof inträffa. Hur grovt felaktigt påståendet att inga sådana projekt finns kan vi emellertid se exempelvis i den rapport från 2017 av Seth Baum som jag nämnde i Kapitel 2, och som går igenom 45 olika AGI-projekt världen över.
Jag hade kunnat fortsätta med många fler exempel i samma stil från Pinkers bok, men nöjer mig med att hänvisa till futurologen Phil Torres detaljerade genomgång av alla de felslut och felaktigheter Pinker gör sig skyldig till i det avsnitt av boken som går ut på att AI-risk inte är något att bry sig om.
Bentley signalerar här att han helt enkelt känner sig sårad över den otacksamhet vissa av oss visar över det hårda osjälviska arbete som han och hans gelikar lägger ned på det mödosamma skapandet av nya Al-produkter som ska göra världen bättre. Till råga på allt dristar vi oss att hävda att AI även för med sig risker. Bentleys reaktion kan jämföras med den kränkthet vi kan föreställa oss att de tidiga biltillverkarna kan ha känt över de första påpekandena om de trafiksäkerhetsproblem.
Denna psykologi kan i vissa fall vara svår att särskilja från den alternativa psykologiska förklaring som den amerikanske 1900-talsförfattaren Upton Sinclair summerade i att det är svårt att få en man att begripa något när hans försörjning hänger på att han inte gör det.
Det är knappast möjligt att Zuckerberg yttrade detta utan vetskap om Elon Musks engagemang för AI-utveckling inom bland annat Tesla, men kanske menar han att Musks utspel riskerar att underblåsa en allmänt negativ bild av AI som kan skada branschen, exempelvis genom att bana väg för krav på reglering. Bättre alltså att hålla tyst om eventuella risker!
Rädslan för reglering härrör här (om min tolkning är rätt) ur vinstintresset, och förefaller utbredd inom näringslivet.
Besläktad är Steven Pinkers position, som dock handlar mindre om reglering specifikt än om att han upplever att synen på framtiden idag allmänt domineras av pessimism på ett sätt som både är obefogat och riskerar att göra oss uppgivna och handlingsförlamade. Det kan gott ligga något i Pinkers oro över vad en alltför mörk samhällssyn kan föra med sig, och jag är inte alls främmande för att det bland annat därför finns ett värde i det kompletterande perspektiv med fokus på de många vis på vilka världen blir bättre som han torgför i sina böcker The Better Angels of Our Nature (2011) och Upplysning nu (2018). Tyvärr får dock hans optimistiska grundsyn honom att emellanåt tappa omdömet i sin iver att tillbakavisa allt tal om framtida risker.
För det första har den »kultur av säkerhetstänkande« som Pinker åsyftar knappast gjort sig förtjänt av blind tillit. Den har ju inte hindrat oss vare sig från att bygga upp gigantiska kärnvapenarsenaler som upprepade gånger fört oss på randen till globalt kärnvapenkrig, eller från att med oförminskad hastighet fylla havet med plast och atmosfären med koldioxid, varav det sistnämnda för med sig en potentiellt katastrofal global uppvärmning som funnits högt på den politiska och mediala agendan i ett par årtionden utan att vi förmått ta oss samman och vända utvecklingen. För det andra är Pinkers tankegång närmast självmotsägande, då ju allt arbete med att avvärja risker och öka säkerheten bygger på att dessa risker först och främst identifieras och påpekas, snarare än att förnekas. Eller med andra ord, om jag får låna en fras från Stuart Russells bemötande: ”Pinkers uppmaning till oss att prata om AI-risk är som att säga att »ingen bör ringa efter ambulans inför åsynen av en smitningsolycka eftersom någon säkert kommer att ringa efter ambulans.”
Jag vill ändå varna för att dra parallellen för långt. En viktig skillnad ligger i det faktiska kunskapsläget på respektive område. På klimatområdet finns en väldig vetenskaplig kunskapsmassa som klimatförnekarna inte vill låtsas om, och det finns (trots stora återstående osäkerheter vad gäller exempelvis exakt kvantifiering av den så kallade klimatkänsligheten) inget utrymme för en hederlig klimatdebattör att ifrågasätta att ett business as usual-scenario vad gäller våra växthusgasutsläpp skulle få mycket allvarliga konsekvenser för både samhälle och biosfär. På AI-riskområdet är kunskapsläget alltjämt ojämförligt svagare vilket ju bland annat syns i hur denna bok präglas mer av osäkerheter, spekulationer och scenarier än av hårda fakta.
Det finns i vår kultur en utbredd uppfattning om att i frågor vi inte har några säkra svar på är det fritt fram att tro vad man vill, och det ligger en pedagogisk utmaning i att förklara att det detta till trots inte är intellektuellt godtagbart att på exempelvis Peter Bentleys eller Steven Pinkers vis i publika sammanhang ge förrädiskt sken av att det samlade kunskapsläget entydigt pekar mot att vi inte kommer att få något AGI-genombrott.
De drivkrafter som idag föreligger - i första hand ekonomiska, men idag i allt högre grad också politiska - för fortsatt AI-utveckling är så starka att en stoppad sådan utveckling är så gott som otänkbar (annat än om den skulle bli resultatet av någon global katastrof och civilisationskollaps).
Den som trots allt väljer att driva linjen att AI-utvecklingen bör hejdas kommer att finna sig tämligen ensam i opposition mot en hel värld, och det verkar förnuftigare att gilla läget och finna sig i att AI-utvecklingen kommer att fortsätta, men söka efter vägar att påverka dess riktning.
En önskvärd riktningsförändring vore att styra över en del forsknings- och utvecklingsresurser från den verksamhet som främst är inriktad på att göra AI så kraftfull som möjligt, till sådan vars fokus är att göra AI säker och ge den goda konsekvenser för samhället.
Införandet av en skatt på kraftfullhetsinriktad AI-forskning och vars intäkter går till att finansiera den andra kategorin skulle kunna vara en rimlig åtgärd för att förbättra proportionerna.
Kapplöpningstänkandet kan rentav sägas vara grundpelaren i själva det kapitalistiska samhällssystemets logik, och på nationell nivå kan man ständigt höra tävlingshetsen ventileras, både i Sverige och i utlandet.
Istället behöver vi komma ifrån det slags krigsinspirerade kapplöpningstänkande Ekholm representerar, där konkurrenter betraktas som »fiender«. Vad som behövs är samordning och samarbete, inte minst på internationell nivå.
Och medborgarnas väg till inflytande går via politiken och staten. Vi behöver globala allianser mellan stater för att styra AI-utvecklingen rätt.
Att förhindra spridning av tekniken till terrororganisationer och andra kriminella finns ingen annan rimlig väg att gå än att följa det krav som ställs i det öppna brev med rubriken Autonomous Weapons: An Open Letter from AI and Robotics Researchers som jag i Kapitel 3 citerade ett stycke ur, nämligen att införa ett moratorium mot utveckling av sådan teknik.
Ett annat besvärligt problemområde som våra politiker kommer att behöva ta ställning till är risken att AI-driven automatisering leder till skenande nivåer av arbetslöshet och ekonomisk ojämlikhet.
Den publika debatten behöver föregås av omfattande utbildningsinsatser, menade hon.
Jag gav henne rätt i att utbildning är viktig, men vidhöll att allmänheten oavsett kunskapsnivå har rätt till en levande demokratisk debatt om den teknologi som troligen mer än någon annan kommer att omstöpa deras framtid, och att denna debatt inte kan skjutas på framtiden - eftersom ju utvecklingen är snabb och inte kan väntas snällt avvakta det datum då Danica Kragic tycker att tiden för diskussion är mogen. Kontentan blir att vi parallellt bör satsa både på AI-utbildning och på publik AI-debatt.
MEN VAD KAN LILLA JAG GÖRA? « kanske någon läsare frågar sig. Även för den som övertygats om hur avgörande det är för vår framtid att vi lyckas styra AI-utvecklingen och dess implementering i samhället i rätt riktning, kan det vara svårt att se hur ett eget bidrag till detta skulle kunna se ut, och desto lättare att överväldigas av uppgiftens storlek. Då gäller det att ha i minnet att man inte är ensam: vi är redan många som tar de stora AI-frågorna på allvar, och vi blir raskt fler, så det finns gott hopp om att vi tillsammans kan göra skillnad.
När vi nu lär oss att skapa intelligens på artificiell väg kan det bli ett lika stort skifte i planetens historia, på gott eller ont.
Max Tegmark har uttryckt vårt nuvarande predikament med följande ord: ”För första gången i vår planets 4,5 miljarder år långa historia står vi inför ett vägskäl, där det troligtvis inom vår livstid kommer att avgöras huruvida vi går under eller tar oss samman. Att ta sig samman kan man göra individuellt eller kollektivt.”
FRÅN TILLÄGGSKAPITLET FRÅN 2023 (ingår i den uppdaterade versionen av Tänkande maskiner)
En annan god nyhet är att den brittiska regeringen lanserat en Frontier AI Taskforce med uppdrag att bevaka och bedöma risk härrörandes från de främsta AI-modellerna, och med flera av de mest framträdande namnen i denna bok ombord. Låt mig dock avsluta med ännu ett öppet brev, denna gång med Center for AI Safety i Kalifornien som organisatör. Det släpptes den 30 maj 2023, och utmärker sig i förhållande till FLI-brevet genom dess mer fokuserade innehåll, utsökt och koncist formulerat i en enda mening:
”Att minska risken för utrotning orsakad av AI bör vara en globalt prioriterad fråga jämte andra samhällsrisker som pandemier och kärnvapenkrig.”
Detta skulle även kunna duga som sammanfattning av det viktigaste jag vill säga med denna bok. Brevets undertecknarlista är välkomponerad. Precis som med FLI-brevet finns mitt namn en bit ned, men de fem första namnen bland de som har undertecknat - Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman och Dario Amodei – är en så speciell skara att den förtjänar att kommenteras. Hinton och Bengio är två av de tre pristagare som tog emot 2018 års Turingpris
(datalogins närmaste motsvarighet till Nobelpriset) med en prismotivering som talade om »deep learning-revolutionens fäder medan Hassabis, Altman och Amodei är VD:ar för Google DeepMind, OpenAI och Anthropic - de tre främsta AI-labben i världen. Det handlar alltså om den allra yppersta AI-eliten på vår planet, och det går därför knappast längre att (såsom tidigare ibland skett) försöka vifta bort existentiell AI-risk som något som enbart lyfts av perifera figurer som inte begriper sig på Aï. Det här är på riktigt.
Och samtidigt som jag lägger sista handen vid detta kapitel nås jag av nyheten att EU-kommissionens ordförande Ursula von der Leyen i sitt tal om tillståndet i unionen den 13 september 2023 citerade brevet i dess helhet. Jag vill gärna se detta som ännu ett tecken på att världen är på väg att börja inse vilka ofantliga risker vi står inför.
Att ledarna för Google DeepMind, OpenAI och Anthropic är med och undertecknar brevet är såklart även det ett gott tecken i sig. De är medvetna om riskernas dignitet. Likväl bör vi komma ihåg att detta inte automatiskt gör dessa personer immuna mot osunda marknads- och företagsincitament. Som framgått exempelvis av min diskussion ovan om säkerhetsarbetet inför släppet av GPT-4 finns redan idag starka tecken på att dessa incitament driver dem till ett agerande som visserligen kan förefalla rationellt ur ett snävt företagsperspektiv, men som ur mer global synvinkel är oacceptabelt våghalsigt. Till det viktigaste vi andra har att göra nu är därför att bygga upp en kraftfull global opinion för att tala om för dessa företag - jämte ledande makthavare i USA och annorstädes - att vi inte finner oss i att de sätter allas våra liv på spel i tidernas farligaste kapplöpning.
I FÖLJANDE PASSAGE från 1951 var Alan Turing långt före sin tid med att diskutera vad skapandet av AGI och superintelligens kan föra med sig:
”Jag vågar påstå att maskiner kan konstrueras som med stor precision simulerar det mänskliga tänkandet. [...] Låt oss för resonemangets skull anta att detta är en verklig möjlighet, och se vilka konsekvenser konstruktionen av sådana maskiner skulle föra med sig. [...] Det förefaller troligt att det, när väl tänkande maskiner kommit igång, inte skulle dröja länge innan våra ömkliga förmågor akterseglades. Att maskinerna skulle dö kommer inte på fråga, men de skulle kunna kommunicera inbördes för att skärpa sina sinnen. Till slut bör vi därför räkna med att de tar över kontrollen.”
Resonemangen ovan kring AI-assisterad bedömning av människor i rättsväsendet och i andra sammanhang visar tydligt att det här med AI och dess framtida användning är en fråga som inte rimligtvis kan överlåtas till teknikbranschen att ensam hantera. Frågan har helt enkelt alltför stora konsekvenser för samhället och våra liv för att kunna anförtros en specialiserad teknikelit. Vi har alla, som ansvarskännande medborgare, både rätten och i viss mån också en skyldighet att lägga oss i.
Automatiserad bedömning av människor och den därmed sammanhängande risken för automatiserad diskriminering är dessutom inte den enda, och knappast heller ens den viktigaste, AI-frågan av detta slag. Betrakta följande knippe brännande frågor.
Hjälp av AI-teknik förvärras och till slut blir så översvämmat av desinformation att vi inte längre kan hitta pålitliga nyhetskällor?
• Hur hejdar vi den begynnande kapprustning inom AI-teknik för flygande robotvapen som annars riskerar att göra världen farligare? Dessa drönare kan komma i många olika utföranden, från något som utåt sett knappt skiljer sig alls från konventionella stridsflygplan, till svärmar av tusentals eller miljontals insektsstora tingestar programmerade att attackera enskilda människor. Om vi misslyckas med att hejda denna destruktiva gren av teknikutvecklingen ställs vi inför den kanske ännu svårare utmaningen att hindra att tekniken sprids och hamnar i händerna på terrorister.
Låt oss, trots att det utgör en överförenkling, beteckna de punkterna i den första listan som frågor av jordnära (vilket givetvis är ett relativt begrepp) karaktär, medan de fyra i den andra listan får beteckningen högtflygande. De kommer alla att behandlas i denna bok, liksom fler därtill. Redan de jordnära frågorna är svåra, men de högtflygande tenderar att vara ännu svårare, och en bidragande orsak till det är att de inbegriper framtida händelser som (oaktat schimpansjämförelsen) inte har några riktigt bra motsvarigheter i historien och vår hittillsvarande erfarenhet.
Två vettiga och till stor del överlappande förslag som lagts fram är att intelligens är »den egenskap som möjliggör för en entitet att fungera ändamålsenligt och med förutseende i sin miljö« < och att det är »> förmågan att korrekt uppfatta sin omvärld och handla på ett sätt som maximerar ens chanser att uppnå givna mål.
AGI vars intelligens alltså inte är begränsad till någon specifik uppgift. Istället har den alla de förmågor som ligger till grund för mänsklig intelligens: kort- och långtidsminne, logiskt tänkande, matematisk förmåga, geometrisk och spatial visualisering, mönsterigenkänning, induktion, planering, kreativitet, social manipulation och många andra. En maskin som besitter alla dessa förmågor på mänsklig nivå eller högre sägs vara en AGI. Om dess intelligens därtill vida överstiger den mänskliga, över hela linjen, så sägs den besitta superintelligens - en term som populariserades av den egensinnige svenskfödde Oxfordfilosofen Nick Bostrom i hans banbrytande bok Superintelligens: Vägar, faror, strategier, vilken vi flera gånger kommer att ha anledning att återkomma till.
Från början av 2010-talet och framåt är AI-forskningen hetare än någonsin, och de spektakulära framstegen i olika slags tillämpningar från brädspel till videomanipulation och självkörande bilar har kommit slag i slag. Politiska ledare i USA, Kina, Europa och på annat håll talar vitt och brett om hur viktigt det är för det egna landet att satsa på AI-utveckling, forskningsfinansiärer tävlar om vem som satsar mest på området, och forskare som vill få en del av kakan omdefinierar ivrigt sina gamla favoritprojekt för att passa under den lite flexibla rubriken AI.
Under tidigare decennier led av begränsade datorresurser och begränsad tillgång till data, jämfört med hur datorerna nu blivit så kraftfulla och datamängderna så stora att den konnektionistiska ansatsen börjat bära frukt.
Antal transistorer per areaenhet på integrerade kretsar: utvecklingen under många decennier varit exponentiellt snabb med en fördubblingstid hos prestandan på 18 till 24 månader. Dessa trender brukar lite löst hänvisas till som Moores lag, vilken dock då den formulerades 1965 avsåg specifikt fallet med hur tätt transistorerna ligger på integrerade kretsar. Över tid rör det sig om en dramatisk utveckling, något jag fick en personlig förnimmelse av när jag någon gång 2017 eller så höll en USB-sticka i min hand som jag precis inhandlat för en femtiolapp, och som bar på 16 GB (gigabyte)
AI-teknik för autonoma vapen - eller mördarrobotar som är en de med en något mindre polerad term kallas obehagligaste sidorna av dagens AI-utveckling. Vi står idag på randen till vad som kan bli en mycket farlig kapprustning på det området. En bild av hur farligt det kan bli ges i det öppna brev med rubriken Autonomous Weapons: An Open Letter from AI and Robotics Researchers (https://futureoflife.org/open-letter/open-letter-autonomous-weapons-ai-robotics/), initierat av Future of Life Institute undertecknat av tusentals forskare världen över, som uppmanar till moratorium för utveckling av autonoma vapen. I brevet ges en allvarsam bild av vart en sådan kapprustning kan leda, med betoning på att de nya vapnen till skillnad från kärnvapen inte kräver några kostsamma eller svårtillgängliga råvaror, och därför kan väntas få en helt annan spridning:
Det är bara en tidsfråga innan [vapnen] dyker upp på den svarta marknaden och i händerna på terrorister, diktatorer som vill öka kontrollen över den egna befolkningen, krigsherrar med avsikt att genomföra etnisk rensning, etc. Autonoma vapen är idealiska för lönnmord, folkförtryck, destabilisering av nationer, och det selektiva dödandet av specifika etniska grupper. Vi tror av dessa skäl att en militär AI-kapprustning inte vore till gagn för mänsklighetenj.
Sådana övergångsstadier utan att vidga de ekonomiska klyftorna ofantligt och utan att skapa social instabilitet? Det här är svåra frågor som vi inte har tydliga svar på idag, men de som ges landar ofta i förslag som inbegriper medborgarlön: ett ovillkorat bidrag till alla medborgare. Med allt färre i arbete som kan beskattas kan medborgarlön lämpligen finansieras med skatt på kapitalinkomster. Mer specifika finansieringsmetoder, som exempelvis en särskild robotskatt, har också föreslagits. Historikern Rutger Bregman förespråkar entusiastiskt ett införande av medborgarlön snarast möjligt.
Med hänvisning till motiverat med en variant av medborgarlön, vilken de dock på oklara grunder väljer att benämna negativ inkomstskatt. Om vi till slut ändå löser den ekonomiska frågan och lyckas skapa ett samhälle där ingen behöver arbeta men alla ändå har adekvat ekonomisk försörjning, så återstår en annan fråga: vad kommer folk att göra av sin tid? Kommer vi överhuvudtaget att finna någon mening i livet om vi inte behöver arbeta för vår försörjning? Ibland hörs pessimistiska tongångar i den frågan, men när jag ser mig omkring bland folk jag känner ser jag ofta en stor förmåga att skapa mening i livet. Det kan, för att återknyta till Kjell Höglunds sång, handla om »kärlek och kultur«, och jag ser inte riktigt varför lönearbetets avskaffande nödvändigtvis skulle stoppa oss från att även fortsättningsvis känna mening i så vitt skilda aktiviteter som bordtennis, skateboardåkning, fjällvandring, trädgårdsskötsel, haikudiktning, körsång, godnattläsning för en fyraåring, eller att äta en bit mat och dricka ett glas vin i sällskap med människor man tycker om.
Det finns också mer handfasta sätt att ta sig an frågan om tidtabell för framtida AGI. Det mest kända exemplet är förmodligen Silicon Valley-gurun Ray Kurzweils prediktioner på 00-talet. Kurzweil kombinerade extrapolering av Moores lag (den exponentiella ökningstakt i datorers hårdvaruprestanda som diskuterades i Kapitel 2) in i framtiden med antagandet att hårdvaruprestanda är den avgörande flaskhalsen i skapande av AGI, och att vad som behövs är att uppnå beräkningskapacitet i nivå med den mänskliga hjärnan. Detta ledde honom till den närmast absurt exakta prediktionen om ett AGI-genombrott år 2045. Det ingick säkert ett element av avsiktlig provokation i förutsägelsen, men oavsett det så anser de flesta bedömare att antagandena är så överförenklade att den inte förtjänas att ta på något större allvar.
För egen del lutar jag åt att ett AGI-genombrott nog är att vänta förr eller senare. Vad gäller tidpunkt är jag lika osäker som många andra: det kan dröja ett århundrade eller mer, eller det kan röra sig om några få decennier. Men skulle det kunna handla om bara något decennium eller några enstaka år?
En ännu extremare position rörande tidpunkt för det stora AGI-genombrottet vore att hävda att det redan har inträffat, och att vi helt enkelt inte vet om det. Jag räknar inte detta scenario som särskilt troligt, men det visar sig vid närmare beskådande vara svårt att påvisa såsom orimligt.
Allt han hävdar är att genombrottet kan komma att ske mycket plötsligt, och de argument som brukar anföras för att ett AGI-genombrott ligger åtminstone årtionden fram i tiden därför inte framstår som särskilt starka.
Här gäller det att hålla två tankar i huvudet. Å ena sidan verkar det alltså inte som att vi kan utesluta ett mycket nära förestående AGI-genombrott. Å andra sidan så vore det överilat att peka på den mycket snabba utveckling som deep learning genomgår.
Fysikern Stephen Hawking varnade för att utvecklingen av AGI skulle kunna innebära slutet för mänskligheten. IT- och rymdtekniksentreprenören Elon Musk är inne på samma spår när han meddelar att AGI är mänskligheten existentiella hot och jämför ett sådant genombrott med de många sedelärande historierna om vad som kan hända om man släpper fram anden ur flaskan. Såväl Hawkings uttalande som Musks är från 2014, och båda är influerade av Nick Bostroms bok Superintelligens som kom ut på originalspråk samma år.
Isac Asimov - känd bland annat för sina robotnoveller från 1940-talet och framåt. Robotarna i hans värld är programmerade att följa hans tre robotlagar, nämligen
(1) att en robot inte får låta en människa komma till skada,
(2) att en robot måste lyda mänskliga order, och
(3) att en robot ska skydda sig själv från skada, där (1) har prioritet över (2) och (3), och (2) har prioritet över (3).
Det finns knappast någon anledning att tro att vår moralsyn skulle ha nått sin perfekta slutnivå, och det verkar ju exempelvis som att vi är på väg mot ett allmänt moraliskt uppvaknande i frågan om det ofantliga lidande som djurindustrin ger upphov till. Det med Bostroms ord, »mycket troligt att vi fortfarande dras med en eller flera allvarliga moraliska missuppfattningar.
Jämfört med de ofantliga satsningar som görs på forskning inom A1-området som helhet världen över är forskningen om Al-alignment och besläktade frågor kring hur ett AGI-genombrott kan styras mot gynnsamma utfall blott en droppe i havet. Detta är givetvis olyckligt, men knappast förvånande med tanke på hur nytt området är, och sedan Bostroms bok kom ut 2014 har läget förbättrats avsevärt: forskningen kring säker AGI har ökat kraftigt i omfattning, och dessutom förgrenat ut sig i ett stort antal nya inriktningar. Det sistnämnda gör området betydligt mer svåröverblickbart än tidigare, men är ändå positivt.
Det handlar om forskning som bedrivs vid Center for Human-compatible Artificial Intelligence (CHAI) som 2016 startade på University of California i Berkeley, under ledning av Stuart Russell som beskriver programmet utförligt i sin populärt hållna bok Human Compatible. Eftersom komplikationerna är många tar det honom tre kapitel om totalt xxx sidor att göra det, men han inleder med att formulera tre grundprinciper:
(1) Maskinens mål är att maximera realiserandet av människors preferenser.
(2) Maskinen är inledningsvis osäker på vilka dessa preferenser är.
(3) Den ultimata källan till kunskap om människors preferenser är deras beteende.
Ur ett moralfilosofiskt perspektiv kan också finnas skäl att ifrågasätta Russells fokus på just människors preferenser. Pekar inte det slags moraliska framsteg vi ser om vi betraktar historien, och som kan väntas fortsätta, mot att exempelvis djurs intressen också är viktiga att beakta? Russell nämner även den möjligheten, men menar att det kan tas om hand via våra egna preferenser.
Ett känt exempel på hur till och med den mest framstående tänkare kan underskatta möjligheten till stabil samhällsutveckling finns i en essä från 1951 av filosofen Bertrand Russell, som blickade ut över världsläget och gjorde bedömningen att före århundradets slut (det vill säga senast år 2000) måste - med reservation för att något alldeles oförutsägbart sker« , någon av följande tre händelser inträffa:
1. Slutet på mänskligt liv, eller kanske rentav allt liv överhuvudtaget på vår planet.
2. En återgång till barbari efter en katastrofal minskning av världens befolkning.
3. Ett enande av världen under en enda global regering, som har monopol på alla betydande militära vapen.
Om vi lyckas undvika en AI-apokalyps innebär inte det automatiskt att risken för mänsklighetens undergång är undanröjd, då det även finns andra risker vi står inför som i värsta fall kan innebära slutet för vår art, och som därmed kan räknas som existentiella risker. Filosofen Toby Ord har författat en viktig bok som behandlar sådana risker och hur vi bör se på dem: The Precipice: Existential Risk and the Future of Humanity.
Ord följer konventionen på området genom att dela upp riskerna i två kategorier: de naturliga och de antropogena (det vill säga av oss människor skapade). Det kanske mest kända exemplet på naturlig existentiell risk är risken för att jorden ska träffas av en tillräckligt stor asteroid,
Det som först slår en när man tar del av Ords sannolikhetsuppskattningar är hur starkt i linje de är med intuitionen att det i närtid är de antropogena riskerna som dominerar. När han lägger samman sannolikheterna för olika slags naturligt orsakade existentiella katastrofer det närmaste århundradet landar han i en total sannolikhet om 1 på 10 000. Motsvarande sammanläggning av de antropogena riskerna ger en sannolikhet om 1 på 6 för existentiell katastrof under samma tidsperiod. Undergångsrisken till följd av asteroidnedslag, supervulkaner och andra naturliga källor framstår i jämförelse som försumbar. 1 på 6 är strax under 17 %, och precis den dödssannolikhet man får i rysk roulette med en kula i magasinet, vilket också i runda slängar sammanfaller med den sannolikhet spelmarknaden ett par veckor före det amerikanska presidentvalet 2016 gav händelsen att Donald Trump skulle vinna.
Med tanke på hur mycket som står på spel är det en fasansfullt hög sannolikhet. Av skäl jag redan diskuterat bör siffran tas med en rejäl nypa salt, men observera att det inte automatiskt betyder att en mer välinformerad sannolikhetsbedömning skulle hamna lägre - det är också fullt möjligt att den skulle bli högre.
Hur fördelar sig då dessa 17 % enligt Toby Ords bedömning? Högst sannolikhet tilldelar han risken för en AI-katastrof, som får 10 %, och på andra plats kommer artificiellt skapade pandemier med sannolikhet 1 på 30, det vill säga cirka 3 %. Måhända något överraskande är de låga sannolikheter för mänsklighetens utplåning han ger både globalt kärnvapenkrig och global uppvärmning, som tilldelas vardera 0,1 %.
I fallet med globalt kärnvapenkrig är det - tvärtemot en vanlig föreställning - omöjligt med dagens kärnvapenarsenaler att ta kål på hela mänskligheten i själva kärnvapenattackerna, så undergångsrisken ligger snarare i konsekvenserna av den atomvinter som väntas följa på ett sådant krig.
En av dem handlar om ett antal nationer som alla spenderar stora pengar på militära försvar, och där alla skulle tjäna på om alla nationer drog ned militärutgifterna till hälften, men att ingen törs göra det på egen hand inför risken att dra på sig angrepp från mer rustade grannar. Ett annat av hans exempel handlar om den slags miljöproblematik som benämns allmänningens tragedi, och som kan exemplifieras med ett stort antal individer vilka var och en lever goda liv som blir extra lyxiga av de CO₂-utsläpp de gör sig skyldiga till; alla är medvetna om att de totala utsläppen leder till katastrof och skulle önska att alla utsläpp upphörde, men ingen är beredd att ensidigt ge upp sitt lyxliv eftersom det skulle göra en så liten skillnad för totalen.
Om vi undviker undergången Precipice, som karaktäriseras av dess abnormt höga nivå av existentiell risk. Ord konstaterar helt riktigt att The Precipice inte kan bli varaktig: antingen lyckas vi reducera risknivån till nära noll, eller också går det förr eller senare åt pipan - och sannolikt förr snarare än senare. Som räkneexempel kan användas den undergångsrisk om 1 på 6 per århundrade som Ord höftar till med som nuvarande risknivå: under antagandet att den risknivån består har vi visserligen 83 % sannolikhet att överleva i 100 år till, vilket (för den som inte räds rysk roulette) kan låta hoppfullt, men när århundrade läggs till århundrade krymper överlevnadssannolikheten successivt, så att den efter 1000 år är nere i 16 %, efter 2000 år i 2,6 %, och efter 3000 år i 0,4 %. Det betyder att vi givet den risknivån kan överleva ett årtusende eller två förutsatt en rejäl dos flax, medan längre tidsrymder än så inte är något att hoppas på.
Ord förordar därför, med stöd i longtermismen, att vi behöver reducera risknivån rejält. När man står inför en avgrund som man riskerar att falla ned i gäller det att ta sig därifrån. Om vi lyckas med det och får ned risken till en låg nivå så har vi lagt The Precipice bakom oss, varvid det är dags för The Long Reflection - en period om hundratals eller rentav tusentals år.
Ett skäl till pessimism på denna punkt är att projektet att tänka ut vilken väg vi bör gå kan komma att visa sig så svårt att vi behöver hjälp av antingen superintelligent AGI eller av långtgående transhumanistisk förbättring av vår egen tankeförmåga - vilka båda utgör precis det slags steg som Ords skiss till färdplan säger att vi bör undvika till dess vi är färdiga med The Long Reflection. Ett annat skäl är det som jag i inledningen av detta kapitel anförde mot Bullerbyscenariot: framstegstanken är så hårt rotad i vår kultur att det är svårt att se hur vi ska kunna uppbåda den återhållsamhet som behövs. Det är sant att en rad av ledarfigurerna i 1940-talets Manhattanprojekt kände initial tveksamhet inför att skapa det massförstörelsevapen som de insåg skulle föra mänskligheten in i The Precipice (fastän just den termen inte skulle införas förrän närmare 80 år senare), men rädslan för att Hitler skulle ta till kärnvapen om man hann före gjorde att de ändå valde att ta steget.
Får tro nyhetsrapporteringen från OpenAI har de börjat tänka i liknande banor rörande AGI. Men inget är ristat i sten, och vi kan fortfarande ta oss samman. Nick Bostrom har en metafor i vilken han jämför vår teknologiska utveckling med en hingst som galopperar fram över fälten, och vår klokskap med ett föl på stapplande ben.
Ännu mer pockande än rymdkolonisering, vad gäller potentiellt nödvändiga och samtidigt riskabla steg för eliminering av existentiell risk, är dock den oroande tanken att avancerad AI-styrd och mer eller mindre total massövervakning kan komma att behövas för att avvärja undergången. Ett sådant steg mot ett totalitärt samhälle kan bli en ohygglig social fälla, och det bör inte tas lättvindigt, men ett par av de ledande tänkarna inom existentiell risk - Nick Bostrom och Phil Torres - har från var sitt håll kommit fram till en bild som reser frågan om inte det faktiskt kan bli nödvändigt.
Preliminärt lutar jag, influerad av bland andra filosofen Daniel Dennett och kognitionsforskaren Douglas Hofstadter, åt att medvetande inte är reserverat enbart för kolbaserade biologiska varelser av kött och blod, utan även kan uppstå i andra sammanhang, som en AI implementerad på en kiselbaserad elektronisk dator. En grundidé hos båda dessa tänkare är att medvetande visserligen uppstår ur materia, men att det inte sker via någon mystisk medvetandesubstans som skulle finnas i kolatomer men inte i kiselatomer: det viktiga är inte vad för slags materia som utgör den underliggande substansen, utan vad materien gör. Detta kallas funktionalism, och mer specifikt förespråkar både Dennett och Hofstadter versioner av det som kommit att kallas computational theory of mind (CTOM).
Jag är inte säker på hur denna tystnad ska tolkas, men gissar att det beror på ett slags neuro-chauvinism, där han utan vidare är beredd att acceptera realiteten och medvetandet hos vilkas algoritmer implementeras med hjälp av biologiska hjärnor, medan han inte är beredd att bevilja samma ynnest åt dem vilkas algoritmer realiserats med hjälp av Searle-engelsktalaren och en memorerad regelbok. Detta är ju i så fall ett chockerande brott mot den sandbergska benefit of the doubt-moral jag diskuterade ovan, och som går ut på att så länge någon beter sig som om hen var medveten så bör vi, om vi inte har synnerligen starka skäl att tro på motsatsen, tillerkänna hen medvetande.
AI-riskförnekeri
Kända namn som Steven Pinker och John Searle, men de utgör blott toppen på ett isberg, och den dystra sanningen är att stora delar av AI-debatten idag präglas av önsketänkande och svaga argument, där debattörerna i många fall verkar vara mer angelägna om att tona ned AI-risk än att föra en sakligt balanserad diskussion. I detta kapitel har det blivit dags att diskutera denna mörkare sida av AI-debatten som kan benämnas AI-riskförnekeri.
Bönder inte nödvändigtvis är de som är bäst skickade att bedöma jordbrukets långsiktiga framtid.
Ännu ett påfallande svagt argument är följande påstående som Steven Pinker levererar i den bästsäljande bok som i svensk översättning heter Upplysning nu: ”Såvitt jag vet finns det inga projekt för att bygga en AGI, inte bara för att det vore affärsmässigt tvivelaktigt utan för att idén knappt är begriplig.” Om ingen bygger AGI kan naturligtvis inte heller AGI-katastrof inträffa. Hur grovt felaktigt påståendet att inga sådana projekt finns kan vi emellertid se exempelvis i den rapport från 2017 av Seth Baum som jag nämnde i Kapitel 2, och som går igenom 45 olika AGI-projekt världen över.
Jag hade kunnat fortsätta med många fler exempel i samma stil från Pinkers bok, men nöjer mig med att hänvisa till futurologen Phil Torres detaljerade genomgång av alla de felslut och felaktigheter Pinker gör sig skyldig till i det avsnitt av boken som går ut på att AI-risk inte är något att bry sig om.
Bentley signalerar här att han helt enkelt känner sig sårad över den otacksamhet vissa av oss visar över det hårda osjälviska arbete som han och hans gelikar lägger ned på det mödosamma skapandet av nya Al-produkter som ska göra världen bättre. Till råga på allt dristar vi oss att hävda att AI även för med sig risker. Bentleys reaktion kan jämföras med den kränkthet vi kan föreställa oss att de tidiga biltillverkarna kan ha känt över de första påpekandena om de trafiksäkerhetsproblem.
Denna psykologi kan i vissa fall vara svår att särskilja från den alternativa psykologiska förklaring som den amerikanske 1900-talsförfattaren Upton Sinclair summerade i att det är svårt att få en man att begripa något när hans försörjning hänger på att han inte gör det.
Det är knappast möjligt att Zuckerberg yttrade detta utan vetskap om Elon Musks engagemang för AI-utveckling inom bland annat Tesla, men kanske menar han att Musks utspel riskerar att underblåsa en allmänt negativ bild av AI som kan skada branschen, exempelvis genom att bana väg för krav på reglering. Bättre alltså att hålla tyst om eventuella risker!
Rädslan för reglering härrör här (om min tolkning är rätt) ur vinstintresset, och förefaller utbredd inom näringslivet.
Besläktad är Steven Pinkers position, som dock handlar mindre om reglering specifikt än om att han upplever att synen på framtiden idag allmänt domineras av pessimism på ett sätt som både är obefogat och riskerar att göra oss uppgivna och handlingsförlamade. Det kan gott ligga något i Pinkers oro över vad en alltför mörk samhällssyn kan föra med sig, och jag är inte alls främmande för att det bland annat därför finns ett värde i det kompletterande perspektiv med fokus på de många vis på vilka världen blir bättre som han torgför i sina böcker The Better Angels of Our Nature (2011) och Upplysning nu (2018). Tyvärr får dock hans optimistiska grundsyn honom att emellanåt tappa omdömet i sin iver att tillbakavisa allt tal om framtida risker.
För det första har den »kultur av säkerhetstänkande« som Pinker åsyftar knappast gjort sig förtjänt av blind tillit. Den har ju inte hindrat oss vare sig från att bygga upp gigantiska kärnvapenarsenaler som upprepade gånger fört oss på randen till globalt kärnvapenkrig, eller från att med oförminskad hastighet fylla havet med plast och atmosfären med koldioxid, varav det sistnämnda för med sig en potentiellt katastrofal global uppvärmning som funnits högt på den politiska och mediala agendan i ett par årtionden utan att vi förmått ta oss samman och vända utvecklingen. För det andra är Pinkers tankegång närmast självmotsägande, då ju allt arbete med att avvärja risker och öka säkerheten bygger på att dessa risker först och främst identifieras och påpekas, snarare än att förnekas. Eller med andra ord, om jag får låna en fras från Stuart Russells bemötande: ”Pinkers uppmaning till oss att prata om AI-risk är som att säga att »ingen bör ringa efter ambulans inför åsynen av en smitningsolycka eftersom någon säkert kommer att ringa efter ambulans.”
Jag vill ändå varna för att dra parallellen för långt. En viktig skillnad ligger i det faktiska kunskapsläget på respektive område. På klimatområdet finns en väldig vetenskaplig kunskapsmassa som klimatförnekarna inte vill låtsas om, och det finns (trots stora återstående osäkerheter vad gäller exempelvis exakt kvantifiering av den så kallade klimatkänsligheten) inget utrymme för en hederlig klimatdebattör att ifrågasätta att ett business as usual-scenario vad gäller våra växthusgasutsläpp skulle få mycket allvarliga konsekvenser för både samhälle och biosfär. På AI-riskområdet är kunskapsläget alltjämt ojämförligt svagare vilket ju bland annat syns i hur denna bok präglas mer av osäkerheter, spekulationer och scenarier än av hårda fakta.
Det finns i vår kultur en utbredd uppfattning om att i frågor vi inte har några säkra svar på är det fritt fram att tro vad man vill, och det ligger en pedagogisk utmaning i att förklara att det detta till trots inte är intellektuellt godtagbart att på exempelvis Peter Bentleys eller Steven Pinkers vis i publika sammanhang ge förrädiskt sken av att det samlade kunskapsläget entydigt pekar mot att vi inte kommer att få något AGI-genombrott.
De drivkrafter som idag föreligger - i första hand ekonomiska, men idag i allt högre grad också politiska - för fortsatt AI-utveckling är så starka att en stoppad sådan utveckling är så gott som otänkbar (annat än om den skulle bli resultatet av någon global katastrof och civilisationskollaps).
Den som trots allt väljer att driva linjen att AI-utvecklingen bör hejdas kommer att finna sig tämligen ensam i opposition mot en hel värld, och det verkar förnuftigare att gilla läget och finna sig i att AI-utvecklingen kommer att fortsätta, men söka efter vägar att påverka dess riktning.
En önskvärd riktningsförändring vore att styra över en del forsknings- och utvecklingsresurser från den verksamhet som främst är inriktad på att göra AI så kraftfull som möjligt, till sådan vars fokus är att göra AI säker och ge den goda konsekvenser för samhället.
Införandet av en skatt på kraftfullhetsinriktad AI-forskning och vars intäkter går till att finansiera den andra kategorin skulle kunna vara en rimlig åtgärd för att förbättra proportionerna.
Kapplöpningstänkandet kan rentav sägas vara grundpelaren i själva det kapitalistiska samhällssystemets logik, och på nationell nivå kan man ständigt höra tävlingshetsen ventileras, både i Sverige och i utlandet.
Istället behöver vi komma ifrån det slags krigsinspirerade kapplöpningstänkande Ekholm representerar, där konkurrenter betraktas som »fiender«. Vad som behövs är samordning och samarbete, inte minst på internationell nivå.
Och medborgarnas väg till inflytande går via politiken och staten. Vi behöver globala allianser mellan stater för att styra AI-utvecklingen rätt.
Att förhindra spridning av tekniken till terrororganisationer och andra kriminella finns ingen annan rimlig väg att gå än att följa det krav som ställs i det öppna brev med rubriken Autonomous Weapons: An Open Letter from AI and Robotics Researchers som jag i Kapitel 3 citerade ett stycke ur, nämligen att införa ett moratorium mot utveckling av sådan teknik.
Ett annat besvärligt problemområde som våra politiker kommer att behöva ta ställning till är risken att AI-driven automatisering leder till skenande nivåer av arbetslöshet och ekonomisk ojämlikhet.
Den publika debatten behöver föregås av omfattande utbildningsinsatser, menade hon.
Jag gav henne rätt i att utbildning är viktig, men vidhöll att allmänheten oavsett kunskapsnivå har rätt till en levande demokratisk debatt om den teknologi som troligen mer än någon annan kommer att omstöpa deras framtid, och att denna debatt inte kan skjutas på framtiden - eftersom ju utvecklingen är snabb och inte kan väntas snällt avvakta det datum då Danica Kragic tycker att tiden för diskussion är mogen. Kontentan blir att vi parallellt bör satsa både på AI-utbildning och på publik AI-debatt.
MEN VAD KAN LILLA JAG GÖRA? « kanske någon läsare frågar sig. Även för den som övertygats om hur avgörande det är för vår framtid att vi lyckas styra AI-utvecklingen och dess implementering i samhället i rätt riktning, kan det vara svårt att se hur ett eget bidrag till detta skulle kunna se ut, och desto lättare att överväldigas av uppgiftens storlek. Då gäller det att ha i minnet att man inte är ensam: vi är redan många som tar de stora AI-frågorna på allvar, och vi blir raskt fler, så det finns gott hopp om att vi tillsammans kan göra skillnad.
När vi nu lär oss att skapa intelligens på artificiell väg kan det bli ett lika stort skifte i planetens historia, på gott eller ont.
Max Tegmark har uttryckt vårt nuvarande predikament med följande ord: ”För första gången i vår planets 4,5 miljarder år långa historia står vi inför ett vägskäl, där det troligtvis inom vår livstid kommer att avgöras huruvida vi går under eller tar oss samman. Att ta sig samman kan man göra individuellt eller kollektivt.”
FRÅN TILLÄGGSKAPITLET FRÅN 2023 (ingår i den uppdaterade versionen av Tänkande maskiner)
En annan god nyhet är att den brittiska regeringen lanserat en Frontier AI Taskforce med uppdrag att bevaka och bedöma risk härrörandes från de främsta AI-modellerna, och med flera av de mest framträdande namnen i denna bok ombord. Låt mig dock avsluta med ännu ett öppet brev, denna gång med Center for AI Safety i Kalifornien som organisatör. Det släpptes den 30 maj 2023, och utmärker sig i förhållande till FLI-brevet genom dess mer fokuserade innehåll, utsökt och koncist formulerat i en enda mening:
”Att minska risken för utrotning orsakad av AI bör vara en globalt prioriterad fråga jämte andra samhällsrisker som pandemier och kärnvapenkrig.”
Detta skulle även kunna duga som sammanfattning av det viktigaste jag vill säga med denna bok. Brevets undertecknarlista är välkomponerad. Precis som med FLI-brevet finns mitt namn en bit ned, men de fem första namnen bland de som har undertecknat - Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman och Dario Amodei – är en så speciell skara att den förtjänar att kommenteras. Hinton och Bengio är två av de tre pristagare som tog emot 2018 års Turingpris
(datalogins närmaste motsvarighet till Nobelpriset) med en prismotivering som talade om »deep learning-revolutionens fäder medan Hassabis, Altman och Amodei är VD:ar för Google DeepMind, OpenAI och Anthropic - de tre främsta AI-labben i världen. Det handlar alltså om den allra yppersta AI-eliten på vår planet, och det går därför knappast längre att (såsom tidigare ibland skett) försöka vifta bort existentiell AI-risk som något som enbart lyfts av perifera figurer som inte begriper sig på Aï. Det här är på riktigt.
Och samtidigt som jag lägger sista handen vid detta kapitel nås jag av nyheten att EU-kommissionens ordförande Ursula von der Leyen i sitt tal om tillståndet i unionen den 13 september 2023 citerade brevet i dess helhet. Jag vill gärna se detta som ännu ett tecken på att världen är på väg att börja inse vilka ofantliga risker vi står inför.
Att ledarna för Google DeepMind, OpenAI och Anthropic är med och undertecknar brevet är såklart även det ett gott tecken i sig. De är medvetna om riskernas dignitet. Likväl bör vi komma ihåg att detta inte automatiskt gör dessa personer immuna mot osunda marknads- och företagsincitament. Som framgått exempelvis av min diskussion ovan om säkerhetsarbetet inför släppet av GPT-4 finns redan idag starka tecken på att dessa incitament driver dem till ett agerande som visserligen kan förefalla rationellt ur ett snävt företagsperspektiv, men som ur mer global synvinkel är oacceptabelt våghalsigt. Till det viktigaste vi andra har att göra nu är därför att bygga upp en kraftfull global opinion för att tala om för dessa företag - jämte ledande makthavare i USA och annorstädes - att vi inte finner oss i att de sätter allas våra liv på spel i tidernas farligaste kapplöpning.