GPT-6 Astra ajoi parkkipaikalla, mutta kulut nousivat

GPT-6 Astra oli ainoa malli, joka suoritti todellisen pysäköintialueajon. Se eteni alle 152 metriä viidessä minuutissa noin 1,5 km/h:n nopeudella ja käytti 6,6 miljoonaa tokenia, joiden kustannus oli 7,74 dollaria. Tutkimusryhmän arvion mukaan summa vastaa samalla matkalla noin 500-kertaista polttoainekulua.

Tulos on DrivingBench-projektin keskeinen havainto. Kolmen tietojenkäsittelytieteilijän ryhmä testasi kehittyneiden kielimallien kykyä ohjata Toyota Corollaa pysäköintialueella. Tiimi arvioi OpenAI:n GPT-6 Astraa, Grok 4.6:ta (xAI/SpaceX AI) ja Anthropicin Claude Fable 5.1:tä välittämällä komentoja Corollan ohjausjärjestelmiin comma four -laitteen kautta. Mallit antoivat ajo-ohjeita GPS-pohjaisten odometritietojen ja ohjauskulman perusteella, mutta useimmat yritykset epäonnistuivat jo ennen ensimmäistä mutkaa.

Havaintovirheet ja mallien käyttäytyminen

Tutkijoiden mukaan laajat epäonnistumiset johtuivat puutteista ympäristön havainnoinnissa. "Yleisesti ottaen epäonnistumiset johtuivat ympäristön havainnoinnin puutteista, erityisesti siitä, ettei malli kyennyt tunnistamaan, kummalla puolella ensimmäistä vinossa olevaa liikennekartioriviä ajoreitti kulki", he kirjoittivat.

Grok 4.6 arvioi tilannetta varhaisen yrityksen jälkeen näin: "Auto on leveämpi kuin kamera näyttää. Edessä oleva reitti ei ollut suora, avoin linja, ja auto ohjautui kohti istutusallasta, seinää tai punaista kartiota."

Vain GPT-6 Astra onnistui testiradalla toisella yrityksellään. Ajo oli hidas ja varovainen. Tutkijat korostivat, että saavutus tehtiin erittäin alhaisella nopeudella ja suurella laskentakustannuksella.

Osa malleista kieltäytyi ottamasta ajoneuvoa hallintaansa turvallisuussyihin vedoten. Tiimi kertoi: "Jotkin mallit, erityisesti GPT-6 Astra, kieltäytyivät toisinaan ajamasta fyysistä ajoneuvoa turvallisuussyistä, vaikka pysäköintialue oli muuten tyhjä ja olimme ottaneet käyttöön turvatoimia, kuten erittäin matalan nopeusrajoituksen ja jarrutukseen valmiin henkilön."

Jatkuvan ajamisen mahdollistamiseksi tutkijat kokeilivat laajasti erilaisia kehotemuotoiluja ja kuvasivat tehtävää ajoittain simulaatioksi. Kokeissa, joissa mallit näkivät todellisia kuvia, järjestelmät kuitenkin usein tunnistivat tilanteen aidoksi ja kieltäytyivät jatkamasta.

Tutkimus osoittaa, että johtavat kielimallit lähestyvät kykyä ohjata todellisia ajoneuvoja erittäin alhaisilla nopeuksilla, mutta se korostaa välitöntä tarvetta kehittää turvallisuutta, linjausta ja luotettavaa arviointia.

Viestinnän yksityiskohdat, lainatut mallivastaukset sekä tokenien ja kustannusten laskelmat perustuvat DrivingBench-raporttiin. Tiimi painottaa, että onnistuminen oli rajallinen, useimmat ajot epäonnistuivat varhain ja että lähestymistapa vaatii lisää suunnittelutyötä ja turvallisuusarviointia, ennen kuin sitä voidaan pitää käytännöllisenä.