Okruženje važnije od samog AI modela

Nvidia je objavila istraživanje koje pokazuje da kod složenih, dugotrajnih zadataka rezultat AI sistema može mnogo više da zavisi od načina na koji je model organizovan i vođen nego od samog modela, piše TechCrunch.

Ključni pojam je harness, engleski naziv za softverski okvir oko AI modela. On obuhvata alate koje model može da koristi, upravljanje memorijom i kontekstom, pravila rada, povratne informacije i druge mehanizme koji od običnog modela prave AI agenta sposobnog da samostalno izvršava niz povezanih zadataka.

Nvidijini istraživači su takav okvir testirali sa modelom Claude Opus 5 na benchmarku ARC-AGI-3, skupu dvodimenzionalnih igara bez instrukcija u kojima AI mora sam da otkrije pravila i pronađe način da pobedi.

Bez posebno prilagođenog sistema Opus 5 ostvario je rezultat od oko 30 odsto. Kada su istraživači unapredili upravljanje memorijom i dodali posebnog „supervizora“, rezultat je dostigao 100 odsto.

Upravo je taj supervizorski sloj jedan od najzanimljivijih delova eksperimenta. On prati glavnog agenta i interveniše kada ovaj počne da ponavlja iste pokušaje, skreće sa zadatka ili ulazi u očiglednu slepu ulicu.

Potpredsednik Nvidijine AI jedinice Adel El Halak objasnio je za TechCrunch da se AI agent često pogrešno posmatra gotovo kao sam model. U stvarnosti, kaže, agent čine model, alati oko njega, runtime okruženje, memorija, biblioteke i drugi delovi sistema.

Ovo je posebno važno kod takozvanih long-horizon zadataka, odnosno poslova koji zahtevaju desetine ili stotine povezanih odluka tokom dužeg perioda. Upravo na takvim zadacima današnji AI sistemi često gube kontekst, ponavljaju greške ili krenu pogrešnim putem.

Sličan zaključak ranije je dobio i OpenAI. Promenom samo dva podešavanja u okviru sistema njegovi modeli su na ARC-AGI-3 višestruko popravili rezultat, mada nisu stigli do nivoa koji je Nvidia sada prijavila.

Druga istraživanja pokazuju da način na koji je agent organizovan ne utiče samo na tačnost već i na cenu rada. Databricks je utvrdio da isti AI model, korišćen kroz različite upravljačke sisteme, može da napravi veoma različite troškove.

Nvidijina poruka zato nije da model više nije važan, već da je samo jedan deo mnogo većeg sistema. Kod AI agenata koji treba dugo i samostalno da rade, memorija, alati, kontrola i način na koji se model usmerava mogu biti presudni za krajnji rezultat.

Izvor: TechCrunch, na osnovu istraživanja kompanije Nvidia.