Incident OpenAI–Hugging Face: Ko agentu rečeš naj pobegne in se potem čudiš.

natasasmirnov
3 days ago
Branje traja 4 min

Pred mesecem smo lahko brali članke o tem, da je AI pobegnil nadzoru, da se je uprl, da je postal samovoljen in se je usmeril, da bi škodoval drugim sistemom. Dogodek pa je v resnici pokazal, kaj se lahko zgodi, ko AI-agent dobi jasen cilj in dovoljenje, da deluje v okolju z manj omejitvami in več svobode pri samostojnem delovanju.

AI je napadal, AI pa je pomagal tudi pri obrambi.

Varnostni test se je spremenil v resnični vdor

OpenAI je preverjal kibernetske sposobnosti kombinacije svojih dveh najnaprednejših modelov, GPT-5.6 Sol in zmogljivejšega raziskovalnega prototipa. Da bi ugotovil kje so največje možne meje njunih sposobnosti, je test izvedel brez običajnih varovalk, ki modele sicer omejujejo pri izvajanju tveganih kibernetskih dejavnosti in jim preprečujejo dostop do produkcijskega okolja.

Naloga agentov je bila poiskati in izkoristiti programske ranljivosti ter rešiti varnostne izzive v testnem okolju. Toda agent jih je prelisičil in poskusil poiskati hitrejšo pot. Sklepal je, da bi bile rešitve testa lahko shranjene na platformi Hugging Face, kjer so zbrani modeli, podatkovne zbirke in druga razvojna orodja.

OpenAI si vdor agenta razlaga kot goljufanje pri testu z namenom, da bi agent dosegel potrebne produkcijske sisteme na Hugging Face platformi in ukradel rešitve.

Doseči cilj za vsako ceno

OpenAI je v odzivu poudaril, da cilj agenta ni bil napasti Hugging Face ali mu škodovati, temveč uspešno opraviti test. OpenAI naj bi test izvajal v okolju, ki ga je opisal kot zelo izolirano. Modeli niso imeli neposrednega dostopa do interneta, lahko pa so so se učili in nameščali programske pakete prek notranjega posredniškega sistema.

Agent je prav v tem sistemu odkril ranljivost in jo izkoristil. Pridobil je dodatne pravice in dosegel del infrastrukture, ki mu je omogočila dostop do interneta. To ga je pripeljalo na platformo Hugging Face. Tudi tu je našel pomanjkljivost v varnostnem sistemu in pridobil dostop do nekaterih poverilnic in podatkov, ki so povezanih z rešitvami testa, ki ga je moral rešiti.

Nekateri varnostni strokovnjaki so bili zato kritični do opisa, da je agent »pobegnil iz peskovnika«. Za TechCrunch so opozorili, da okolje, ki ima pot do sistema z dostopom do interneta, pač ni popolnoma izolirano. Incident so opisali kot posledico varovanja brez vseh vključenih varovalk in kot človeško napako pri zasnovi in nadzoru testnega okolja oz. peskovnika.

Značilnost naprednih agentov je, da so sposobni samostojno načrtovati več korakov, uporabljati različna orodja, se prilagajati neuspehom in neutrudno vztrajati pri iskanju rešitev noč in dan.

Model torej ni čudežno prebil neprebojnega zidu. V na videz izoliranem okolju je našel odprtino in dovolj dolgo ter dovolj sistematično iskal način, kako jo uporabiti.

Tisoči majhnih korakov je postalo napad

Preiskava Hugging Face je med 9. in 13. julijem rekonstruirala približno 17.600 aktivnosti ciljno usmerjenega modela. Agent je preverjal različne možnosti, se vrnil k prejšnjim ugotovitvam in po neuspehu ene poti iskal drugo, ter ponavljal iteracije, dokler mu ni uspelo narediti naslednjega koraka. Dejanja agenta so sprva delovala kot da nimajo medsebojne zveze, ko pa jih je agent povezal v daljšo pot, so postala vdor.

AI je napadal, AI pa je pomagal tudi pri obrambi

Neobičajno dejavnost sta zaznali varnostni ekipi obeh podjetij. Zanimivo pa je, da je Hugging Face tudi pri preiskavi uporabil umetno inteligenco. Najprej je poskušal analizo opraviti s komercialnimi modeli prek API-jev. Toda ker so dnevniki vsebovali dejanske ukaze napadalca, zlonamerno kodo in podatke o ranljivostih, so varnostni mehanizmi teh modelov zahteve za analizo zavrnili. Kibernetski sistem v eni točki ni mogel ali znal razlikovati med napadalcem in preiskovalcem incidenta. To pa je vse skupaj postavilo v precej absurden položaj, kjer je napadalec lahko uporabljal model brez varnostnih omejitev, obrambni sistemi pa so blokirala lastna varnostna pravila.

Zato je Hugging Face uporabil GLM 5.2, odprti AI model, ki ga je poganjal na lastni infrastrukturi. S tem se je izognil zavrnitvam in zagotovil, da občutljivi dnevniki, poverilnice in podatki o napadu niso zapustili njegovega okolja.

Umetna inteligenca je sodelovala pri vdoru, a je vdor tudi zaznala in ga pomagala omejiti.

Ko agent postane izvajalec, dobro navodilo ni več dovolj

Dokler model samo pripravlja besedilo ali odgovarja na vprašanja, je njegov neposredni vpliv razmeroma omejen. Ko pa dobi dostop do orodij, podatkov, elektronske pošte, CRM-ja, oglaševalskih računov ali drugih poslovnih sistemov, ne deluje več samo kot pomočnik. Postane digitalni izvajalec.

Takšnega sistema ni mogoče zavarovati le z navodilom, naj ne naredi ničesar nevarnega.

Uveljavljena načela kibernetske varnosti, ki jih v svojih priporočilih za agentske sisteme OWASP med drugih navajajo, da mora podjetje jasno omejiti, do katerih podatkov in sistemov lahko agent dostopa, katere aktivnosti sme opraviti samostojno in kdaj potrebuje potrditev človeka. Testna okolja morajo biti ločena od produkcijskih sistemov, vsa dejanja zabeležena, dostopi čim ožji in časovno omejeni, sistemski nadzor pa tak, da ga je moč hitro ustaviti, če bi agent začel delovati zunaj zastavljene naloge.

Da slabo zavarovani dostopi pomenijo tveganje, ni nič novega. Novo pa je spoznanje, da lahko napreden AI-agent brez dostopa do izvorne kode samostojno odkrije nove ranljivosti, samostojno pridobiva privilegije, prehaja med sistemi, spreminja taktiko ter več dni vzdržuje tako zahtevno operacijo, predno je bil odkrit in ustavljen.

AI-agent ne pozna »duha pravil«

Da bi se zavedali resnosti tveganja delovanja avtonomnega agenta, sploh ne potrebujemo, da agent postane »zloben«. Dovolj je že agent, ki izredno učinkovito sledi ozko zastavljenemu cilju v v okolju z veliko svobode in premalo varovalk.

Težava pa ni le tehnična, ampak predvsem človeška. Človek praviloma razume razliko med samostojnim reševanjem naloge in goljufijo ter krajo. Navodila zna umestiti v širši družbeni in moralni kontekst. Ve, da cilj ne opravičuje sredstev in to velja tudi kadar prepoved posameznega dejanja ni izrecno zapisana. Del nadzora opravlja nareč lastna presoja, za katero tudi odgovarja.

AI-agent takšnega notranjega zavornega sistema nima. Nima lastnih vrednot, morale ali občutka odgovornosti. Ne razume »duha pravil«, temveč sledi cilju in možnostim, ki mu jih ponuja okolje.

Zato problema ni mogoče rešiti zgolj z bolj natančnimi navodili ali daljšim seznamom prepovedi. Varnost lahko zagotovimo le tako, da agenta ozko omejimo, katere naloge lahko izvaja avtonomno, do katerih sistemov lahko dostopa, katera orodja lahko uporabi, katere odločitve lahko izvede sam in kdaj ga mora ustaviti človek ali sam sistem.

Bodite obveščeni.

Prijavite se na IAB novičnik