Umazana umetna inteligenca

Sisteme umetne inteligence se danes koristno uporabljajo na medicinskih, transportnih, vojaških in kopici drugih področjih. A zadeva ima tudi slabo stran – porabo energije. In ta še zdaleč ni majhna. Skupina znanstvenikov pod vodstvom Emme Strubell iz ameriške univerze Amherst je izračunala, da energija, potrebna za postopek učenja nevronske mreže, povzroči za 284 ton emisij ogljikovega dioksida, kar je petkrat več, kot je povzroči v svoji življenjski dobi povprečen avtomobil.

In od kod ti podatki? Omenjena skupina je med seboj primerjala štiri sisteme umetne inteligence, namenjene razumevanju pisane besede: Transformer, ELMo, BERT in GPT-2. In kaj pomeni »razumevanje pisane besede«? Za boljšo predstavo povejmo, da gre pri recimo GPT-2 za sistem, ki je iz 40 GB internetnega besedila sposoben napovedati, kakšna bo naslednja beseda, tega pa se je naučil z analizo besedil na več kot 8 milijonih spletnih strani. Takšno učenje seveda zahteva čas, procesorsko moč in posledično – električno energijo. Znanstveniki so pri vsakem omenjenem sistemu izmerili enodnevno porabo energije, številko nato množili s številom dni, potrebnih za učenje umetne inteligence, nato pa, z upoštevanjem povprečne emisije ogljika pri proizvodnji električne energije, iz vsega skupaj izračunali povprečni ogljični odtis. In ta je res velik – kar 284 ton, kar je petkrat več od povprečnega avtomobila v njegovi celotni življenjski dobi.

So ti sistemi res tako požrešni? Ne vsi. Največji krivec so tako imenovani sistemi iskanja nevronske arhitekture (Neural Architecture Search - NAS). Zalo preprosto povedano gre za sistem avtomatizacije zasnove umetnih nevronskih mrež (ANN), ki se pogosto uporablja na področju strojnega učenja, znanstveniki pa metodi NAS pravijo »hiter in umazan način zasnove natančnega sistema strojnega učenja brez veliko dela«. To pa zato, ker temelji na dokaj preprosti metodi poskusov in napak in ne na kakšnem zapletenem a učinkovitem matematičnem modelu. Za primerjavo – eden od štirih omenjenih merjenih sistemov, Transformer AI, namenjen prevajanju med različnimi jeziki, se je prevajanja med angleščino in francoščino brez pomoči NAS naučil v 84 urah, s sistemom NAS pa bi za to potreboval več kot 270.000 ur. Razlika je seveda ogromna, več kot 3200-kratna, a se sistemi NAS še vedno na veliko uporabljajo, saj krepko zmanjšajo čas snovanja nevronskih mrež. In v sodobnem času je prav čas oziroma hitrost tista, ki največ pomeni.

Vir: New Scientist