Da bi razumeli, kako delujejo LLM-ji in zakaj so tako okoljsko zahtevni, je pomembno razumeti pojma »žeton« (token) in »parameter«. Ko vnesemo ukaz – bodisi vprašanje ali navodilo – ustvarimo žetone, ki predstavljajo dele našega ukaza, LLM pa jih, z bolj intenzivnimi naprednimi sposobnostmi razmišljanja med svojim delom, nato ustvari še več.
Ko se LLM usposablja, se »uči« s prilagajanjem parametrov, torej nekih ustreznih številk znotraj nevronskega omrežja. Ti parametri nadzirajo, kako model napoveduje en žeton za drugim. Model z manj parametri se torej šteje za enostavnejšega in z manj »utežmi« (številka, ki AI pove, kako pomembno je nekaj pri obdelavi informacij), zato bo ustvaril manj žetonov, a morda ne bo tako natančen. Po drugi strani bo model z velikim številom parametrov imel tudi veliko uteži – in bi moral biti natančnejši (ni pa vedno tako). Na žalost so najbolj zapleteni in natančni LLM tudi najbolj energetsko intenzivni, saj predstavljajo računalniško delo (iskanje, povezovanje, ocenjevanje), ki seveda zahteva energijo. Ta energija povzroča emisije CO2.
Modeli z zmogljivim »reasoning« modulom so v povprečju ustvarili 543,5 »razmišljajočih« žetonov na vprašanje, medtem ko so jih besedilni (text-only) modeli porabili le 37,7 za enako nalogo. Toda več žetonov ni pomenilo večje točnosti – pogosto je pomenilo le več praznih besed.
Deep Cogito 70B (70 milijard parametrov) je bil najbolj točen, saj je dosegel 84,9% uspešnost, a je obenem proizvedel trikrat več CO2 kot primerljivi modeli z osnovnimi odgovori. Na drugem koncu spektra je Alibaba Qwen 7B ustvaril najmanj emisij, le 27,7 g CO2-ekvivalentov na vseh 1.000 vprašanjih, a je dosegel skromnih 31,9% natančnosti.
Najbolj energijsko potratni model je bil Deepseek R1 70B, ki je za odgovor na 1.000 vprašanj proizvedel 2.042 g CO2-ekvivalentov, kar ustreza 15 km poti z bencinskim avtomobilom. Če bi ta model odgovoril na 600.000 vprašanj, bi ustvaril emisije primerljive povratnemu letu London–New York. Model je pri enem samem matematičnem vprašanju ustvaril neverjetnih 14.187 žetonov, medtem ko so standardni modeli za isto vprašanje vrnili le enega do dva.
Raziskovalci so jasno pokazali, da več parametrov in več žetonov pomeni večjo energijsko porabo. Noben model, ki je ostal pod pragom 500 gramov CO2-ekvivalentov, ni presegel 80% natančnosti. To dokazuje obstoj izrazitega kompromisa med natančnostjo in trajnostjo: čim več parametrov in razmišljanja, tem več ogljičnega odtisa.
Na koncu je Dauner poudaril, da bi lahko uporabniki z zmanjšanjem dolžine odgovorov in selektivno uporabo zmogljivih modelov bistveno zmanjšali svoj ogljični odtis: »Če bi uporabniki poznali točen CO2 strošek svojih generiranih vsebin – na primer pretvorbe svojega portreta v akcijsko figuro – bi bili precej bolj premišljeni pri uporabi teh tehnologij.«
Raziskava je bila objavljena v strokovni publikaciji Frontiers in Communication.
Vir: Tehniška univerza v Münchnu
