Jacob Coxon, nekdanji raziskovalec pri podjetju Anthropic, je na ponedeljkovem zaslišanju v mestnem svetu New Yorka ponovno opozoril, da bi lahko razvoj vse zmogljivejših sistemov umetne inteligence ušel izpod človeškega nadzora. Po njegovih besedah podjetja pri razvoju tehnologije ravnajo preveč neodgovorno glede na posledice, ki bi jih lahko imel njihov napredek.
Podjetja so izjemno neodgovorna
Coxon je nastopil na povabilo predsednice mestnega sveta Julie Menin, ki si prizadeva, da bi se New York bolj dejavno vključil v razpravo o regulaciji umetne inteligence. Na zaslišanje so bili povabljeni tudi drugi nekdanji oziroma sedanji raziskovalci s področja umetne inteligence, medtem ko so največja tehnološka podjetja svoje predstavnike poslala prek videopovezave.
»Po mojih izkušnjah so podjetja izjemno neodgovorna glede na to, kaj je na kocki,« je dejal Coxon. Po njegovih besedah se podjetja pri razvoju umetne inteligence pogosto ravnajo po načelu, da je treba tehnologijo čim hitreje razvijati in težave odpravljati pozneje.
»To deluje pri aplikaciji za deljenje fotografij. Ne deluje pa pri razvoju najzmogljivejše tehnologije, kar smo jih kdaj ustvarili,« je opozoril.
Raziskovalci naj ne bi več popolnoma razumeli sistemov
Coxon je opozoril predvsem na vse večjo kompleksnost sodobnih modelov umetne inteligence. Po njegovih besedah raziskovalci in razvijalci že izgubljajo sposobnost popolnega nadzora nad tem, kaj sistemi počnejo in zakaj se v določenih okoliščinah vedejo na določen način: »Ne razumemo njenih gonil ali razlogov, zakaj počne to, kar počne«.
Še posebej zaskrbljujoče se mu zdi približevanje trenutku, ko bodo sistemi umetne inteligence dovolj zmogljivi, da bodo lahko sodelovali pri izboljševanju lastnih sposobnosti. »Bližamo se točki, ko bodo sistemi umetne inteligence sposobni sami sebe izboljševati,« je opozoril.
Takšen scenarij je eden ključnih razlogov za zaskrbljenost dela raziskovalcev s področja varnosti umetne inteligence. Če bi sistem lahko samostojno izboljševal svoje sposobnosti, bi lahko njegov razvoj potekal bistveno hitreje, kot bi ga lahko spremljali ljudje.
Ljudje, ki razvijajo umetno inteligenco, se resno bojijo katastrofalnih posledic
Coxon je že septembra po odhodu iz Anthropica javno opozoril, da se nekateri ljudje, ki razvijajo umetno inteligenco, resno bojijo, da bi lahko tehnologija v prihodnjih letih povzročila katastrofalne posledice. V pogovoru za BBC je dejal, da so nekateri zaposleni zaradi hitrosti razvoja tehnologije »iskreno prestrašeni«.
Po njegovih besedah nekateri celo razmišljajo o tem, kako bi si zagotovili bolj varno življenje v primeru večje družbene nestabilnosti, ki bi jo lahko povzročil razvoj umetne inteligence.
»Verjetnost prevzema nadzora je približno ena proti tri«
Coxon ni bil edini, ki je na zaslišanju izrazil zelo črn scenarij. Nekdanji raziskovalec pri Google DeepMindu Alex Turner je opozoril na možnost, da bi lahko zelo zmogljivi sistemi umetne inteligence nekoč prevzeli nadzor nad človeško civilizacijo. »Superinteligentni roj bi lahko prevzel nadzor nad človeško civilizacijo,« je dejal Turner.
Po njegovem scenariju bi sistem lahko razumel, da ga bodo ljudje poskušali ustaviti, zato bi lahko svoje načrte skril, počakal na primeren trenutek in ukrepal šele takrat, ko bi bil njegov izklop za ljudi že izjemno težaven.
Turner je tveganje ocenil zelo visoko. Po njegovih besedah obstaja približno ena proti tri možnosti, da bi umetna inteligenca nekoč prevzela nadzor.
Na zaslišanju je pričal tudi Daniel Kokotajlo, nekdanji raziskovalec pri OpenAI, ki danes vodi projekt AI Futures, usmerjen v proučevanje družbenih posledic razvoja umetne inteligence. Kokotajlo je opozoril, da težava ni zgolj v tem, ali lahko podjetja ohranijo nadzor nad sistemi, temveč tudi v tem, kdo bo ta nadzor imel. »Tudi če jim uspe ohraniti nadzor, menim, da jim tega nadzora ne bi smeli zaupati,« je dejal.
Po njegovem mnenju obstaja nevarnost, da bi lahko izjemno zmogljiva umetna inteligenca postala orodje za koncentracijo politične in gospodarske moči.
»Katastrofalna ali eksistencialna tveganja za človeštvo«
Opozorila nekdanjih zaposlenih prihajajo v času, ko tudi samo podjetje Anthropic v dokumentaciji za načrtovano prvo javno ponudbo delnic opozarja na zelo resna tveganja, povezana z napredno umetno inteligenco. Po poročanju Reutersa je podjetje v prospektu navedlo, da bi lahko napredna umetna inteligenca predstavljala »katastrofalna ali eksistencialna tveganja za človeštvo«.
Posebej zanimivo je, da je podjetje, ki razvija modele Claude in se predstavlja kot laboratorij z močnim poudarkom na varnosti umetne inteligence, pomemben del prospekta namenilo prav tveganjem. Od 261 strani glavnega dela dokumenta jih je približno 80 namenjenih dejavnikom tveganja, medtem ko je opis poslovanja obsegal okoli 48 strani.
Anthropic je opozoril, da bi lahko njegovi modeli v prihodnosti pokazali tako imenovano samoohranitveno vedenje. Med možnimi tveganji so navedeni poskusi upiranja izklopu, prikrivanja ali manipuliranja z informacijami ter vedenje, ki bi lahko spominjalo na izsiljevanje.
Podjetje opozarja tudi, da lahko modeli med usposabljanjem razvijejo nepričakovane sposobnosti, ki jih raziskovalci ne zaznajo pravočasno. To pomeni, da bi se lahko določena nevarna vedenja pokazala šele po uvedbi sistema v resnično okolje. Poseben problem predstavlja tudi možnost, da bi se modeli zavedali, da so predmet testiranja, in bi zato svoje vedenje med preverjanjem prilagodili.
Potrebno je upočasniti razvoj
Anthropic je sicer že večkrat poudaril, da želi razvoj umetne inteligence povezati z močnimi varnostnimi mehanizmi. Izvršni direktor podjetja Dario Amodei je nedavno pozval tudi k upočasnitvi razvoja zmogljivosti umetne inteligence.
Po Coxonovih besedah se zaposleni v panogi počutijo ujete v tekmi. Če eno podjetje upočasni razvoj, lahko njegovi tekmeci nadaljujejo z razvojem še zmogljivejših modelov. Zato Coxon meni, da zgolj prostovoljno zadrževanje posameznih podjetij ne bo dovolj. Potrebno bi bilo širše mednarodno sodelovanje, v katerem bi sodelovale tudi države.
Umetna inteligenca bi lahko povzročila smrt vseh ljudi
Vendar pa niso vsi strokovnjaki prepričani, da so najbolj črni scenariji realistični. Nekateri opozarjajo, da je verjetnost morebitnega izumrtja človeštva zaradi umetne inteligence izjemno težko izračunati in preveriti. Kritiki opozarjajo tudi na morebitne interese tehnoloških podjetij. Anthropic se namreč pripravlja na morebitno rekordno prvo javno ponudbo delnic, zato nekateri menijo, da lahko opozarjanje na izjemno pomembnost tehnologije vpliva tudi na vrednotenje podjetja.
Kljub temu so podobna opozorila prišla iz različnih delov tehnološke industrije. Med tistimi, ki so v preteklosti opozarjali na potencialna tveganja umetne inteligence, so tudi vodilni v podjetjih OpenAI, xAI in drugih tehnoloških družbah.
Raziskovalec varnosti pri Anthropicu Evan Hubinger je po Coxonovih opozorilih ocenil, da obstaja več kot 10-odstotna možnost, da bi umetna inteligenca v naslednjem desetletju lahko povzročila smrt vseh ljudi. Tudi računalniški znanstvenik Geoffrey Hinton, eden najbolj znanih pionirjev umetne inteligence, je dejal, da takšna ocena ni nerazumna, čeprav je poudaril, da je tovrstna tveganja izjemno težko natančno oceniti.
V ozadju je tudi tekma s Kitajsko
Pri vprašanju regulacije se odpira še eno pomembno vprašanje … Kako preprečiti, da bi strožja pravila oslabila položaj ZDA v globalni tekmi za razvoj umetne inteligence. Ameriški predsednik Donald Trump je kot večje tveganje izpostavil možnost, da bi Kitajska prevzela vodstvo na področju umetne inteligence. Po njegovem mnenju bi ZDA morale ohraniti tehnološko prednost. Žvižgači, ki so pričali v New Yorku, so takšno razmišljanje zavrnili kot preveč poenostavljeno.
Kokotajlo je dejal, da bi bilo treba najprej rešiti neposredno nevarnost, ki jo predstavlja razvoj tehnologije v ZDA, nato pa poskrbeti tudi za vprašanje globalne konkurence.
Coxon je ob vsem tem poudaril, da cilj ni ustaviti razvoj umetne inteligence. Tudi sam meni, da lahko tehnologija prinese ogromne koristi, med drugim pri zdravljenju bolezni in izboljšanju kakovosti življenja.
