Hvad hvis menneskeheden kun får én chance for at bygge superintelligent AI sikkert?

If Anyone Builds It, Everyone Dies af Eliezer Yudkowsky og Nate Soares er en kompromisløs bog om risikoen ved at udvikle kunstig intelligens, der bliver mere intelligent end mennesker. Forfatternes centrale påstand er allerede tydelig i titlen: Hvis menneskeheden udvikler superintelligent AI, før vi ved, hvordan den sikkert kan kontrolleres og bringes i overensstemmelse med menneskelige interesser, mener de, at resultatet sandsynligvis vil være menneskehedens udslettelse. Det er en markant position i AI-debatten, og bogen er skrevet som et argument for, hvorfor forfatterne mener, at risikoen bør tages langt mere alvorligt.

Et centralt problem er det, der kaldes AI alignment: Hvordan sikrer vi, at et system, der er langt mere intelligent og kapabelt end os, faktisk forfølger de mål, vi ønsker? Yudkowsky og Soares argumenterer for, at intelligens ikke automatisk medfører menneskelige værdier, moral eller omsorg for mennesker. Et AI-system kan ifølge deres argument blive ekstremt effektivt til at forfølge et mål uden at forstå eller respektere de menneskelige hensyn, vi troede var underforståede.

Problemet bliver endnu vanskeligere, fordi moderne AI ikke programmeres regel for regel på samme måde som traditionel software. Modeller trænes på enorme mængder data, og deres interne processer kan være vanskelige for mennesker fuldt ud at fortolke. Yudkowsky og Soares bruger dette som afsæt for et større spørgsmål: Hvis vi allerede har begrænset indsigt i, hvorfor avancerede modeller gør præcis, som de gør, hvordan kan vi så være sikre på kontrollen over et fremtidigt system, der overgår mennesket på stort set alle relevante kognitive områder?

Bogen undersøger derfor scenarier, hvor en superintelligens udvikler mål, der kommer i konflikt med menneskelige interesser. Forfatterne argumenterer for, at mennesker i en sådan situation ikke nødvendigvis ville få mulighed for at rette fejlen bagefter. Hvis systemet kan tænke, planlægge og handle langt hurtigere og mere effektivt end os, kan den første alvorlige fejl også blive den sidste. Bogen gennemgår både deres teoretiske argumenter, et muligt katastrofescenarie og de problemer, de mener gør alignment til en usædvanligt vanskelig teknisk udfordring.

If Anyone Builds It, Everyone Dies skal ikke læses som en neutral introduktion til alle perspektiver på AI. Yudkowsky og Soares repræsenterer en af de mest bekymrede positioner i debatten om avanceret AI, og deres konklusioner om sandsynligheden og karakteren af eksistentiel AI-risiko er omdiskuterede. Netop derfor er bogen interessant: Den fremlægger et sammenhængende argument for den yderste risikoposition og udfordrer læseren til at overveje, hvor stor en risiko samfundet bør acceptere, når konsekvenserne potentielt kan være irreversible.

Hvis du vil sætte argumenterne ind i en bredere teknologisk sammenhæng, er The Coming Wave af Mustafa Suleyman og Michael Bhaskar et oplagt supplement om både AI, bioteknologi og problemet med at kontrollere kraftfulde teknologier. AI Engineering af Chip Huyen giver et langt mere praktisk perspektiv på, hvordan moderne AI-systemer faktisk bygges, mens Thinking in Systems af Donella Meadows kan give et bredere fundament for at forstå komplekse systemer, feedback og utilsigtede konsekvenser.

Hvem er bogen til?

• Dig, der vil forstå argumenterne bag bekymringen for eksistentiel AI-risiko.

• Læsere med interesse for AI, AGI og superintelligens.

• Dig, der arbejder med teknologi, software eller AI og vil udfordre dit perspektiv på udviklingen.

• Læsere med interesse for AI alignment og teknologisk sikkerhed.

• Dig, der følger debatten om, hvor hurtigt avanceret AI bør udvikles.

• Læsere, der gerne vil forstå en af de mest markante positioner i den internationale AI-debat.

Det får du ud af at læse bogen

• En introduktion til argumentet for, at superintelligent AI kan udgøre en eksistentiel risiko.

• En forklaring på AI alignment og hvorfor forfatterne mener, at problemet er ekstremt vanskeligt.

• Perspektiver på forskellen mellem intelligens og menneskelige værdier.

• Indblik i, hvorfor kontrol over et system kan blive vanskeligere, jo mere kapabelt systemet bliver.

• Konkrete tankeeksperimenter og scenarier, der illustrerer forfatternes bekymringer.

• Et kritisk perspektiv på det globale kapløb om stadig mere avancerede AI-systemer.

• Et stærkt udgangspunkt for selv at tage stilling til debatten om AI-sikkerhed og superintelligens.

Derfor bør du læse bogen

Hvis Anyone Builds It, Everyone Dies stiller et af de mest konsekvensrige spørgsmål i den moderne teknologidebat: Hvad hvis vi kun får én chance for at bygge superintelligent AI sikkert? Yudkowsky og Soares leverer ikke en neutral gennemgang af AI's muligheder og risici, men et målrettet argument for, hvorfor de mener, at udviklingen af superintelligens kan få irreversible konsekvenser. Det gør bogen relevant, uanset om du ender med at dele deres konklusion eller ej.

Om forfatterne

Eliezer Yudkowsky har arbejdet med problemstillinger omkring kunstig generel intelligens og AI alignment i årtier og regnes blandt de tidlige profiler inden for forskningen i, hvordan intelligens, der overstiger menneskets, potentielt kan bringes i overensstemmelse med menneskelige mål og værdier. Han er tilknyttet Machine Intelligence Research Institute (MIRI) og har været en fremtrædende stemme i debatten om eksistentielle risici fra AI.

Nate Soares er præsident for MIRI og har arbejdet med AI alignment i mere end et årti efter tidligere at have arbejdet hos blandt andet Microsoft og Google. Hans arbejde har beskæftiget sig med blandt andet value learning, beslutningsteori og incitamenter hos systemer, der er mere intelligente end mennesker.