(INTERVJU) Noreen Herzfeld: Zamislimo si dron velikosti čmrlja, ki je sposoben prepoznavati obraze

Noreen Herzfeld je raziskovalka na Inštitutu za filozofske študije Znanstveno-raziskovalnega središča v Kopru (IFŠ ZRS) ter profesorica računalništva in teologije na Univerzi St. John v Minnesoti v ZDA. Konec julija je vodila mednarodni simpozij z naslovom Orodje ali nadomestek: Kako avtonomna naj bo umetna inteligenca?, ki je potekal v Ljubljani in na spletu v soorganizaciji IFŠ ZRS in Mednarodnega raziskovalnega centra za umetno inteligenco pod pokroviteljstvom Unesca. Profesorica Herzfeld je sodelavka pri projektu Ustvarjena bitja, ljudje, roboti.

"Simpozij je obravnaval vprašanje računalnikov in akterstva: ali želimo, da so digitalni stroji le orodje, ki ga uporabljamo, ali pa naši partnerji ali celo naši namestniki, ki delajo namesto nas. Govorili smo o etičnih vprašanjih, povezanih z avtonomnimi orožji, o umetni inteligenci in izobraževanju in tudi o vprašanju akterstva: ali so stroji sploh akterji in, če so, ali so stroji akterji v drugačnem smislu kot ljudje."

Torej etična vprašanja o uporabi umetne inteligence z bolj abstraktnimi filozofskimi vprašanji o naravi umetne inteligence?

"Filozofska in etična vprašanja se na področju umetne inteligence močno mešajo. Med osnovnimi vprašanji so: Kaj dejansko je umetna inteligenca (UI)? Kako razumeti umetno inteligenco v odnosu do vprašanja, kaj pomeni biti človek? Ali nas lahko UI-stroji nadomestijo ali pa so to zgolj orodja? To so temeljna filozofska vprašanja o umetni inteligenci. Toda ta vprašanja hitro postanejo vprašanja etike: na kakšne načine naj uporabljamo umetno inteligenco? Kako so ta orodja (če jih tako pojmujemo) po eni strani v naše dobro, po drugi strani pa uporabljena za manipulacijo ljudi. Umetna inteligenca je danes neke vrste 'buzzword'. Kot termin se uporablja za izjemno široko paleto računalniških tehnologij in vizij prihodnosti. Programi, ki so danes v uporabi in jim rečemo umetna inteligenca, so v glavnem programi strojnega učenja, ki obdelujejo ogromne količine podatkov, na podlagi katerih naredijo izračune ali napovedi. Kar nekaj etičnih zagat se pojavlja ob uporabi teh programov. Najprej je tu dejstvo, da mnogo teh programov deluje izza odra. Po znanstvenofantastični domišljiji se nagibamo k dojemanju umetne inteligence v povezavi z roboti. Toda večina UI-ja so zgolj algoritmi, ki svoje procese opravljajo nevidno večini. To so algoritmi, ki odločajo, kaj vidite na družbenih omrežjih, ali sugerirajo, kaj naj kupite na Amazonu, in podobno. Nekatera etična vprašanja, ki se tu pojavljajo, so povezana z dejstvom, da so ti algoritmi skriti in da večina ljudi ne pozna podlag, na katerih ti programi odločajo o nas in za nas. Pogosto ti algoritmi niso optimizirani za naše dobro, temveč za finančno dobrobit podjetij, ki jih uporabljajo. Ta podjetja nas torej manipulirajo v svojo korist. Občasno tovrstna manipulacija postane javno vidna. Tako je bilo denimo pri Facebookovi manipulaciji naših osebnih novičk v namen raziskovanja, ali so čustva socialno prenosljiva - kar seveda so. Še bolj odmeven je bil seveda politični škandal ..."

... v zvezi s podjetjem Cambridge Analytica?

"Da, škandal Cambridge Analytica. A ljudje se ne zavedajo, da se tovrstne manipulacije še vedno dogajajo. Večina jih ima cilj, da kupimo določen izdelek ali pa da še naprej buljimo v ekran. Žal je pogosto tisto, kar doseže slednje, vse bolj senzacionalistična vsebina. To je vodilo v izjemno razširjanje dezinformacij na spletu. 'Všečni' vsebini namreč ni treba, da je resnična, da doseže vse širše občinstvo ali določene skupine uporabnikov. Prilagojena je tako, da je bolj zanimiva, da bolj pleni pozornost. Zato so algoritmi na žalost prilagojeni tako, da promovirajo dezinformacije bolj kot pa resnico."

Ali to pomeni, da je glavni etični problem s tovrstno uporabo UI-ja pomanjkanje transparentnosti?

"Težava je v tem, da je omejena stopnja transparentnosti sploh mogoča. Mnogi nismo sposobni razumeti algoritmov, ki se pri tem uporabljajo. Pa tudi večina tega, kar danes računalniki procesirajo, se dogaja ob takšnih hitrostih in količinah podatkov, kakršnim ljudje že dolgo nismo kos. Še ena zagata pa je, da se predsodki in pristranskosti ustvarjalcev ali lastnikov teh algoritmov prenašajo na same algoritme, pogosto nenamerno. Ne gre torej nujno za namerno netransparentnost ali načrtno pristranskost, temveč za dejstvo, da lastniki in inženirji sami ne razumejo, kaj je bilo v algoritem vgrajeno nenamerno."

Primer tega je rasna pristranskost pri računalniškem prepoznavanju obrazov?

"Da. Rasna pristranskost algoritmov se pojavlja denimo v sodnem sistemu ZDA, denimo pri določanju, kdo naj bo pogojno odpuščen in kdo ne. Pa tudi pri algoritmičnem odločanju o tem, komu naj se odobri zdravstveno zavarovanje in komu ne, celo pri algoritmih za prevajanje. Bolj ko smo v pomembnih odločitvah odvisni od algoritmov, torej od strojev, bolj se tovrstne pristranskosti pojavljajo sistemsko na vse več področjih."

Rad bi vas vprašal tudi o etičnih vprašanjih uporabe umetne inteligence v orožarski industriji in v vojni bolj splošno. Prepuščanje odločitev o življenju in smrti strojem, pa četudi so opremljeni z najnovejšo UI-tehnologijo, se večini zdi izjemno problematično.

"V vojskovanju se UI-tehnologija pojavlja na dveh različnih področjih. Eno je strateško poveljevanje in nadzor, torej situacije, kjer UI opravlja strateške odločitve, kako kje ukrepati v kontekstu oboroženih konfliktov. Drugo področje pa so avtonomna orožja v bitki. To so lahko avtonomni tanki, droni pa tudi takšni stroji, kot so psi roboti podjetja Boston Dynamics, ki so lahko oboroženi in jih nekatere policijske enote v ZDA uporabljajo. Če vzamemo najprej slednje področje, je treba upoštevati tudi prednosti, ki jih ima uporaba UI-usposobljenih robotov, ker lahko gredo v situacije, ki bi bile za človeka izjemno nevarne. Njihova uporaba torej lahko pomeni, da ni treba poslati vojakov na bojišče. Avtonomna orožja se ne utrudijo in ravnajo v skladu z navodili, medtem ko ljudje vojaki vedno ne sledijo navodilom."

A del tega razmišljanja je tudi argument, da ljudje lahko ravnajo impulzivno, emocionalno, kar pogosto vodi do neetičnega ravnanja v stresnih situacijah, medtem ko je pri avtonomnih strojih ta element tveganja odpravljen.

"Da. To je stališče roboticista Ronalda Arkina s kolidža za računalništvo Georgia Tech. Trdi, da se avtonomna orožja lahko na bojišču vedejo bolj etično, ker jim čustva ne zameglijo presoje, ker ne občutijo jeze ter želje po maščevanju zaradi žrtev na lastni strani. Ampak po drugi strani moramo prepoznati resne težave in vprašanja o uporabi avtonomnega orožja. Ali nisi s tem, ko ti ni treba poslati svojih ljudi na bojno polje, ubijanja nasprotnikov zelo olajšal? Namesto da bi uporaba smrtonosne sile bila zadnja možnost, jo z uporabo avtonomnega orožja narediš mnogo bolj privlačno. Druga zadeva pa je seveda skrb, da se tovrstna orožja lahko zlahka uporabi za atentate, kar je po mednarodnem humanitarnem pravu prepovedano. Zamislimo si dron, ki je majhen kot malo večji čmrlj in sposoben prepoznavanja obrazov. To se lahko zlahka uporabi za atentate. Vojska Združenih držav pravi, da pri razvoju avtonomnega orožja prihodnosti ne gre toliko za velika orožja, avtonomne tanke ali podobno, temveč za orožja, ki so majhna, poceni in pametna. Predstavljajmo si roje majhnih dronov, oboroženih s strelivom ali strupom ter opremljenih s tehnologijo prepoznavanja obraza ali telesa. To se lahko uporabi za viktimizacijo ljudi zgolj določene 'rase' ali genetskih značilnosti - pomislimo na že obstoječo in izjemno problematično uporabo UI-tehnologije pri prepoznavanju etničnih Ujgurov na Kitajskem in na strahotne možnosti uporabe te tehnologije v kombinaciji z avtonomnim orožjem."

Pravkar ste omenili dve največji svetovni sili, ne samo v ekonomskem smislu, temveč tudi v razvoju umetne inteligence: ZDA in Kitajsko, med katerima poteka tekma v razvoju in uporabi UI-ja. Ali je opaziti razlike v tem, kako se UI-tehnologije v teh dveh državah razvijajo in uporabljajo?

"V ZDA je UI uporabljena primarno v službi kapitalizma. Izjemno močna podjetja uporabljajo UI v prvi vrsti za potrebe marketinga. Večina mojih študentov v ZDA pravi, da jih zbiranje podatkov o njih in to, da podjetja uporabljajo njihove podatke s pomočjo UI-ja, ne skrbi. To namreč naredi njihove potrošniške izkušnje bolj optimalne. Na Kitajskem je UI primarno uporabljena drugače, namreč v namene avtoritarne države. Ampak ljudje bi se morali zavedati, da lahko katerakoli država postane avtoritarna ali pa jo napade močnejša država, ki je lahko avtoritarna. Kot pravi Edward Snowden, so zdaj mogoče tiranije 'po predaji ključa' (t. i. turnkey tyranny). Z drugimi besedami: vsi naši podatki in vsi ti algoritmi so lahko na voljo državi, da jih uporabi, kakor jih želi. To omogoča do zdaj nepredstavljive možnosti nadzora populacije."

Toda, kot ste sami omenili prej, tudi v ZDA državne strukture, kot so policija, vojska in sodstvo, uporabljajo te tehnologije.

"To je res."

Zastavlja se torej vprašanje, kakšni pravni in drugi mehanizmi civilnega nadzora nad razvoji UI-ja danes obstajajo, pa tudi, kako doseči, da bi se robustna etična perspektiva upoštevala, denimo, že pri izgradnji UI-orožja.

"V ZDA tovrstni mehanizmi še ne obstajajo. Po zadnjih dvojih predsedniških volitvah sicer ugotavljamo, da nas množična uporaba UI-ja postavlja pred večje probleme, kot smo si predstavljali prej. Resno se začenja govoriti o dezinformacijah, algoritmih, ki nas neopazno manipulirajo, ter o pristranskosti, ki je na moralno relevantnih področjih vgrajena v UI, to je v algoritme, ki odločajo v pravnih, medicinskih, zavarovalniških in podobnih kontekstih. Toda v tej točki še pravzaprav ne vemo, kako nadzorovati UI. To področje je tako novo in se razvija tako hitro, da je zakonodaja kilometre zadaj. Sem članica več odborov za etiko UI-ja - med drugim vatikanskega in odbora Ameriškega združenja za napredek znanosti (AAAS) -, ki so šele nedavno zares začeli natančno razmišljati o tem. Se pa zadeve spreminjajo. Pred petnajstimi leti sem bila med peščico ljudi, ki so se z etičnimi in humanitarnimi implikacijami UI-ja resno ukvarjali. Zdaj se s tem ukvarja precej več ljudi in institucij, a potrebnega je precej dohitevanja razvojev novih tehnologij. Glavna motivacija podjetij, ki se s tem ukvarjajo, je seveda vedno zaslužek. Podjetja sicer ne želijo, da bi jih ujeli početi karkoli nezakonitega, vendar zakonodaja ni na tekočem z UI. Vlade vpletenih držav pa po drugi strani želijo zmagati v mednarodni UI-tekmi in si ne želijo upočasnjevati razvoja s preveč etičnih pomislekov.

Obstaja mednarodno gibanje, ki se zavzema za prepoved avtonomnega orožja. Za jasno prepoved v mednarodni zakonodaji, kakršna obstaja v primeru kemičnega orožja. Vendar veliki štirje tovrstne vojaške industrije - ZDA, Kitajska, Rusija in Izrael - močno nasprotujejo takšni prepovedi, zato ni zelo verjetno, da bo do nje prišlo."

Vi ste ob računalništvu in etiki tudi profesorica teologije. Za nekatere je ta kombinacija nenavadna. Nam lahko poveste malo več, kako kombinirate teologijo in računalništvo?

"Povezavo med teologijo in računalništvom lahko opazimo, če premislimo o filozofskih vprašanjih, pred katere nas postavlja UI: V kolikšni meri lahko računalnik približamo človeku? Ali lahko stroj naredimo povsem po naši - človeški - podobi oziroma dosežemo t. i. splošno umetno inteligenco? To vprašanje spominja na teološko idejo v judovstvu in krščanstvu, ki pravi, da smo ustvarjeni po božji podobi. Ampak kaj to pomeni? Kako naj bi odsevali božjo podobo, glede na to, da nismo bogovi? Podobno se v filozofiji UI-ja sprašujemo, v katerem smislu naj sistem umetne inteligence odseva našo podobo in v katerem smislu naj je ne odseva ter je niti ne more in je nikoli ne bo mogel. Vidimo torej določeno prekrivanje teh dveh diskurzov ter nekaterih vzorcev razmišljanja. Morda lahko trdimo, da smo nekje na sredi med bogom in stroji, in projiciramo nas same in tisto, kar najvišje vrednotimo, po eni strani na boga in po drugi strani na računalnike.

Potem pa so tu seveda tudi etična vprašanja, ki so za teologijo zelo relevantna. S tem, ko digitalne tehnologije postajajo bolj in bolj vpletene v naša življenja in del našega sveta, postajajo medij, skozi katerega vse bolj vzpostavljamo odnos s svetom okoli nas. Kot je dejal Marshall McLuhan, je medij lahko samo sporočilo. Medij namreč oblikuje način, kako obravnavamo drug drugega. Nekatera vprašanja, s katerimi se je teologija ukvarjala že stoletja, npr. kakšen naj bi bil resnično avtentičen odnos; kako je najbolje izkazovati ljubezen drug do drugega? To so vprašanja, ki jih moramo sedaj ponovno ovrednotiti v luči dejstva, da je naša družba zasičena z računalniškimi sistemi."

Kaj pa transhumanistična vizija človekovega življenja s stroji v prihodnosti, ki so jo razvili Hans Moravec, Nick Bostrom, Ray Kurzweil in sorodni avtorji? Pogosto se zdi, da uporabljajo teološke ali vsaj psevdoteološke pojme in ideje.

"Transhumanizem ima precej opravka z religijo. Glejte: medtem ko postajamo kot družba manj religiozni, si po drugi strani še vedno zastavljamo nekatera ista vprašanja, ki jih je v preteklosti intenzivno tematizirala teologija. Temeljni strah človeka je povezan s tem, da smo verjetno edina žival, ki je sposobna vnaprej premišljati o svoji smrti, jo z nekaj razumevanja predvideti. Ta nemir nas ne zapušča. Religije so se s tem strahom ukvarjale na različne načine. Denimo z vero v večno življenje, ali pa, kot to počne budizem, s sprejetjem trpljenja in smrti. S tem, ko smo se odmaknili od religijskih odgovorov na te strahove, opazimo vse več ljudi, ki namesto njih ponujajo tehnološke odgovore. Transhumanistična ideja celovitega 'uploada' svojega duha/uma v superračunalnik, da bi lahko na ta način še naprej živeli tudi po razpadu našega biološkega telesa, je preprosto drugačen način odrešenja, ki ne zahteva boga ali nebes."

Gre torej za sekularizirano verzijo odrešenja?

"Točno tako."

Kaj pa menite o stališču, da bi morali ali pa bomo morali ob dovolj napredni stopnji razvoja UI-ja in robotike vzeti resno pravice robotov in jih obravnavati kot bitja s pravicami? Vse več terminov, ki smo jih prej uporabljali zgolj za ljudi, namreč uporabljamo za opisovanje UI-sistemov, za katere sedaj pravimo, da se "odločajo", "spomnijo", "poskušajo", "svetujejo", "najdejo rešitve".

"Po mojem mnenju gre tukaj za kategorično napako. Stroji se namreč ne zavedajo in ne čutijo, in nisem prepričana, da kadarkoli bodo. Zgolj zato, ker postajajo stroji bolj zmogljivi, boljši in kompleksnejši,UI-sistemi še ne bodo postali zavestni. Zavest ni vprašanje kvantitete ali zgolj nivoja kompleksnosti, temveč izkustva ali, kot temu pravijo filozofi, kvalij. Eden od razlogov, zakaj stroji nikoli ne bodo mislili kot mi, je preprost: stroji nimajo čustev in jih verjetno nikoli ne bodo imeli v relevantno podobnem smislu, kot jih imamo mi. To mislim zato, ker čustva potrebujejo določeno vrsto teles in s tem povezano občutkovno bazo. Pomislite na situacijo, ko na sprehodu skozi gozd zaslišiš nenadno šumenje listja, ki nakazuje, da je blizu neka večja žival. Na tak dražljaj naše telo skupaj z bliskovitim občutenjem odreagira prej kot zavestna misel. Srčni utrip se pospeši, k izvoru zvoka se obrnemo praktično brez premisleka. Komaj kasneje zavestno evalviramo to, kar mislimo, da se dogaja, in del te evalvacije je usmerjen na naše notranje občutenje, ne gre zgolj za evalvacijo situacije okrog nas. Brez tega občutenega in instinktivnega elementa stroj sicer lahko odreagira na zunanji stimulans in izračuna, kakšen naj bo odziv, vendar stroj tega ne občuti. O občutkih nima smisla govoriti zato, ker ne gre za biološko telo. Vemo tudi, da obstajajo redki ljudje, ki nekaterih čustev sploh ne občutijo - denimo, empatije. Večina nas, ko vidimo nekoga, ki hudo trpi, nekaj občuti, pogosto to tudi jasno zaznamo telesno, čuden občutek v želodcu ali v prsih ..."

Govorite o spontanih, predintelektualnih reakcijah.

"Tako je. So pa ljudje, ki nič ne občutijo in svoj odziv na trpljenje ljudi ali živali 'preračunajo' (glede na pričakovanja okolice). Če je to trajno stanje, gre za sociopatijo. Računalnik je torej na neki način kot sociopat. Lahko preračuna svoje odzive, vendar ne more čutiti. Nekdaj smo se posmehovali predsedniku Billu Clintonu, ker je govoril: Čutim vašo bolečino. Za stroj lahko rečemo, da ne more čutiti vaše bolečine."

Če vas prav razumem, vas torej ne prepriča tista šola mišljenja o UI-sistemih, ki pravi, da bomo s kombinacijo kompleksnosti algoritmičnih operacij in razvojem robotskih teles, ki bodo v določenih vidikih vse bolj podobna našim, eventualno le dosegli stroje, ki ne le računajo, prepoznavajo in se učijo, temveč tudi na neki način čutijo?

"Ne, me ne prepriča, zato ker notranja reakcija, ki bi bila res podobna človeški, v tem scenariju še vedno manjka. Mi začenjamo šele zdaj bolje razumevati delovanje možganov in povezavo možganov s telesom in okoljem. Kurzweil in njegovi somišljeniki pravijo, da, ko bi le do popolnosti poznali nevronske povezave v človekovih možganih, bi lahko z vzvratnim inženirstvom ustvarili človeku podoben stroj. Toda človekovi možgani so mnogo več kot nevronske povezave. Tu so denimo kemični nevrotransmiterji, ki prenašajo sporočila med nevroni. Vemo tudi, da nevroni ne delujejo individualno, temveč kot 'skupnosti'. Nekateri nevroni se aktivirajo, ko vidimo obraz, a po nekem času prenehajo opravljati to nalogo, prevzamejo jo drugi nevroni. Relativno nedavne so tudi ugotovitve pomena nevronskega sistema v naših prebavilih in njihovih povezav z možgani. Tudi mikroorganizmi v našem telesu vplivajo na delovanje naših možganov. Pogosto ljudje, pri katerih mikroorganizmi v telesu niso v ravnovesju, občutijo depresijo. Upoštevati moramo še dejstvo spremenljivosti naših teles. Celice umirajo in se regenerirajo, naše telo se ves čas spreminja. Delovanje možganov in uma torej nikakor ni preprosta stvar. Če bi želeli ustvariti človeku zares podobno bitje, bi morali poustvariti celotno kompleksno strukturo našega telesa in upoštevati tudi, da smo prepletene skupnosti bioloških organizmov, človeških in drugih."

Ali niso tukaj filozofsko relevantne tudi - ali pa predvsem - značilnosti naše samopercepcije in vrednotenja medsebojnih odnosov v luči naše umrljivosti?

"Vsekakor. Velik del tega, kaj pomeni biti človek, je občutiti bolečino, biti umrljiv in zavedati se, da bomo umrli. Med resnicami, ki jih je odkril Buda, so spoznanja, da je življenje trpljenje, da je smrt resnična in da obstajajo načini premostitve tega trpljenja. Premostitev tiči v tem, da se uglasimo z nečim, kar je večje od nas, pa naj bo to večja in dolgotrajnejša skupnost ali bog ali višja sila, razumljena drugače."

Torej ni možnosti duhovnih robotov?

"Mislim, da ni." (Smeh.) To, kar med svetovnimi religijami k tej temi prispeva krščanstvo, je ideja, da utelešenje ni nasprotno duhovnosti in da je celo bog z utelešenjem prevzel telo, trpel in celo umrl, da bi stopil v neki maksimalen in pristen odnos z ljudmi. Stroj, ki ne prevzame človekovega ali vsaj nekega drugače biološkega telesa, ne more vzpostaviti tovrstnega odnosa z nami."

* Dr. Gorazd Andrejč je profesor filozofije religije na Univerzi Groningen na Nizozemskem.