info@komunalai.hr
KOMUNAL AI
AI Asistent
· KomunalAI tim

Što je zapravo unutra modela koji vaša općina uvodi?

Talijanska televizija pokazala je kako se učitavanjem jednog AI modela s interneta može upaliti tuđa kamera. Nije pitanje je li open-source opasan — nego tko je provjerio artefakt prije nego što je ušao u sustav vaše općine.

Kartonska kutija s oznakom „AI MODEL" i znakom za preuzimanje, povećalo ispred nje na uredskom stolu — metafora provjere artefakta nepoznatog porijekla prije nego uđe u sustav

Talijanska televizija pokazala je kako se učitavanjem jednog AI modela s interneta može upaliti tuđa kamera. Nije pitanje je li open-source opasan — nego tko je provjerio artefakt prije nego što je ušao u sustav.

Prizor traje nekoliko sekundi. Istraživač učita gotov model umjetne inteligencije, jedan od onih koji se besplatno preuzimaju s interneta, i na njegovom se ekranu sama od sebe upali web-kamera. Slika počinje putovati nekamo drugamo. Prilog talijanskog Tg3 Pixela, u kojem se pojavljuje ta demonstracija, jasno kaže da je riječ o simulaciji — kontroliranom pokusu, ne o stvarnom napadu. Ali poanta nije u kameri. Poanta je u tome odakle je model došao i tko je prije toga pogledao što je u njemu.

Vrijedi razložiti zašto je to uopće moguće, jer odgovor vodi ravno do pitanja koje bi danas trebao postaviti svaki načelnik, pročelnik i direktor javne ustanove koji razmišlja o tome da "uvede AI".

Zašto se modeli preuzimaju, a ne grade

Istrenirati vlastiti AI model od nule traži tjedne računanja, ozbiljnu opremu i goleme količine podataka. Gotovo nitko to ne radi. Umjesto toga, tvrtke i javne uprave preuzimaju pretrenirane modele — gotove artefakte koje je netko drugi izgradio i objavio na platformama poput Hugging Facea. Logika je razumljiva: zašto izmišljati toplu vodu ako model već postoji?

Problem je u prirodi tog artefakta. Model nije samo tablica brojeva. Ovisno o formatu u kojem je spremljen, on može sadržavati i kod koji se izvrši u trenutku kad model učitate. Najrašireniji takav format, Pickle, upravo to dopušta — i to je tehnička pukotina kroz koju prolazi cijela ova priča.

To nije teorija. Početkom 2024. na Hugging Face postavljen je model koji je u sebi krio takozvani reverse shell skriven unutar PyTorch datoteke; njegovo učitavanje moglo je napadaču dati udaljeni pristup računalu, dok je model i dalje radio kao posve ispravan AI. Sigurnosni istraživači dokumentirali su čitavu seriju takvih slučajeva. U jednoj velikoj studiji, od gotovo 13.000 analiziranih datoteka modela, njih 14 bilo je stvarno zlonamjerno — većina ih se spajala na vanjski poslužitelj. Brojka djeluje mala dok ne pomislite da je dovoljan jedan takav model u jednom sustavu.

Industrija na to ima odgovor: prelazak sa starog Pickle formata na sigurniji Safetensors, format koji je auditiran i ne dopušta izvršavanje koda pri učitavanju. Ali ni postojeći alati za provjeru nisu savršeni — pokazalo se da se neki skeneri mogu zaobići uobičajenim Python knjižnicama. Drugim riječima: provjera postoji, ali nije automatska i nije besplatna od truda.

Pitanje koje se nameće nije "je li AI siguran"

Lako je iz ovoga izvući pogrešan zaključak — da su otvoreni modeli opasni i da se od njih treba kloniti. To bi bila kriva lekcija, i to iz jednostavnog razloga: otvoreni model koji sami preuzmete i pokrenete na vlastitoj infrastrukturi barem možete provjeriti. Možete vidjeti u kojem je formatu, propustiti ga kroz skener, pokrenuti ga u izoliranom okruženju, znati gdje se vrti. Kod zatvorenog modela u tuđem oblaku tu mogućnost nemate — morate vjerovati na riječ.

A upravo je "vjerovati na riječ" srž problema. Uz modele obično dolazi takozvana model cartica — dokument koji opisuje čemu model služi, na čemu je treniran, kakvi su mu rizici. Zvuči pouzdano. No istraživači s velike ovogodišnje konferencije strojnog učenja upozorili su na očitu stvar koja se rijetko izgovara: te se tvrdnje moraju uzeti zdravo za gotovo, jer ništa ne sprječava izdavača modela da o njima napiše neistinu. Model cartica nije dokaz. Ona je izjava. Nitko je ne jamči.

Pitanje koje se onda nameće nije "je li umjetna inteligencija sigurna". To je preširoko i ne vodi nikamo. Konkretno pitanje glasi:

Kad vaša općina sutra "uvede AI" tako da netko preuzme gotov model s interneta — tko je provjerio što je u njemu, gdje se taj model vrti i tko mu je pristup imao prije vas?

Ako odgovor na to pitanje ne postoji, onda općina nije uvela AI. Uvela je artefakt nepoznatog porijekla u sustav u kojem se obrađuju podaci njezinih građana.

Suverenitet nije "imati svoj model" — nego znati što imaš

Ovdje se ova priča spaja s onom o kojoj u ovoj publikaciji pišem mjesecima. Digitalni suverenitet obično se svodi na pitanje gdje su podaci — u čijem oblaku, pod čijom jurisdikcijom. To je važno, ali nepotpuno. Jednako je važno pitanje čiji je artefakt koji te podatke obrađuje, i možeš li ga provjeriti.

Hosting podataka u Hrvatskoj, a obrada kroz model nepoznatog porijekla koji nitko nije pogledao, samo je pola suvereniteta. Drugu polovicu čini kontrola nad cijelim lancem: od podatka, preko modela, do okruženja u kojem se sve to izvršava.

Upravo zato u razvoju KomunalAI platforme, koju gradimo za jedinice lokalne samouprave, taj lanac pokušavamo zatvoriti do kraja. Modeli koji su u produkciji nisu preuzeti naslijepo — riječ je o otvorenim modelima koji se dodatno treniraju na hrvatskom korpusu (u našem slučaju GLM i Qwen), hostaju se na infrastrukturi unutar Europske unije, i nad njima postoji vlastiti nadzor. Ne navodimo to kao reklamu, nego kao ilustraciju da je tu lanac uopće moguće zatvoriti — i da netko to već radi na hrvatskoj razini, a ne samo na razini hyperscalerske brošure.

Jer poanta nije da svaka općina mora imati vlastiti model. Poanta je da, ako ga već uvodi, mora znati što uvodi.

Što općina može tražiti već u natječaju

Iz ovoga slijedi nekoliko konkretnih pitanja koja pročelnik ili načelnik mogu postaviti — ne kao IT stručnjaci, nego kao naručitelji koji štite podatke svojih građana. Ona ne traže tehničko predznanje. Traže samo da odgovor postoji:

Nijedno od ovih pitanja nije prepreka uvođenju AI-ja. Ona su samo razlika između općine koja zna što je kupila i one koja se nada da je dobavljač bio pošten. U javnoj nabavi se ta razlika obično plati — pitanje je samo kada.

Talijanski TV prilog pokazao je kameru koja se sama pali. To je dobra slika za naslovnicu. Ali stvarna priča nije u kameri. Ona je u onome što se ne vidi: u praznini između "uveli smo AI" i "znamo što smo uveli". Tu prazninu nitko neće popuniti umjesto naručitelja. Mora je popuniti pitanjem — prije potpisa, ne poslije.

Jer pitanje nije hoćete li koristiti AI — pitanje je hoćete li vi biti u tom razgovoru, ili netko tko ne zna što je ispod.

Tekst piše tim koji razvija KomunalAI platformu za jedinice lokalne samouprave.

Izvori:

Sve vijesti