Új modell a robotok fizikai megértéséhez
A Google bemutatta a Gemini 4 Argon nevű robotikai modelljét, amelyet a vállalat a fizikai megértés, a kódgenerálás és a vizuális szemantikai következtetés területén elért fejlődésre épített. Az általános célú rendszer nem csupán szöveges vagy képi válaszokat ad, hanem háromdimenziós környezetekben értelmez feladatokat, majd ezekhez kapcsolódó cselekvéseket is tervez.
A Google Developers Blog október 13-i bejegyzése szerint Argon a robotikai életciklus több pontján használható. A robotok közvetlen irányítása mellett szimulációkat hozhat létre, kutatási feladatokat támogathat, és saját működésének fejlesztésében is részt vehet. A modell az Embodied Reasoning, vagyis ERQA benchmarkon 87 százalékos eredményt ért el. A Google szerint ezzel minden más vizsgált élvonalbeli modellt megelőzött.
Spot robottal és robotkarral is bemutatták
Az egyik bemutatóban a Boston Dynamics Spot négylábú robot hajt végre feladatot. A gép 12 szabadságfokú lábakkal és 6 szabadságfokú karral rendelkezik, Argon pedig arra irányítja, hogy üdítősdobozokat dobjon egy pedálos szemetesbe. A modell először egy artikulált MuJoCo digitális ikert készít a kukáról, majd a virtuális környezetben gyakorolja a mozdulatokat, mielőtt a valódi robot működésbe lépne.
A rendszer közben azt is vizsgálja, hogy a robot megőrzi-e az egyensúlyát háromlábas támaszban, hol helyezkedik el a pedál az elülső kamerák képén, és megfelelően igazodik-e a kéz a kuka nyílásához. A bemutatóban egy kétügynökös ellenőrzési rendszer is szerepel, külön láb- és kézellenőrzővel.
Egy egyszerű robotkarral más jellegű feladatot mutattak be. Argon vizuális koordinátarendszert és előre megadott műveleti primitíveket használva felállít egy felborult bögrét, majd beletesz egy összegyűrt szalvétát. A robot állapotát több lépésben figyeli, utasításokat küld, és minden forduló után képi ellenőrzéssel vizsgálja az eredményt. A Gemini Omni világmodellben közben öt szétszórt Scrabble betűből, a G, R, A, N és O elemekből alakítja ki az A, R, G, O, N sorrendet. A folyamatot köztes képkockák és időbélyegzett utasítások alapján, zárt vizuális visszacsatolással finomítja.
Valós felvételekből épít digitális ikert
Az Argon egyik fontos képessége, hogy robot távvezérléses epizódja alapján MuJoCo szimulációt készít. A cél olyan digitális iker létrehozása, amelyben a robot és a feladat tárgyai a valós környezethez hasonlóan néznek ki és viselkednek, amikor a robot kezei kapcsolatba kerülnek velük.
A modell iteratív vizuális következtetéssel hangolja a szimulációt. Összeveti a virtuális kameraképeket a robot három valódi kamerájának felvételeivel, továbbá a szimulált érintkezési erők és forgatónyomatékok időzítését, nagyságát és irányát is a rögzített tapintási adatokhoz igazítja. A hangolás érintheti a tárgyak geometriáját, ütközési alakját, tömegét, tehetetlenségét, súrlódását, csuklóit és kezdeti helyzetét.
Az Argon robotikai modellről szóló beszámoló szerint a robotparancsok csak azokban a képkockákban módosíthatók, amelyekben a valódi ujjvégek közel vannak egy tárgyhoz. A szimulációban az objektumok kizárólag a robot kezeivel vagy a környezettel létrejövő, valódi MuJoCo érintkezés miatt mozdulhatnak el.
Négy területen kapcsolhatja össze a fejlesztést
A Google négy fő alkalmazási irányt emel ki: a robotvezérlést, a valós környezet szimulációba történő átültetését, a fizikai megértést, valamint a kutatást és az önfejlesztést. Utóbbi esetben Argon szimulációban javíthatja a cselekvéseket, majd iteratív módon a hardveren is fejlesztheti működését.
A bemutatott megközelítés olyan munkafolyamatot vázol fel, amelyben ugyanaz a modell értelmezi a feladatot, megtervezi a mozgást, ellenőrzi a végrehajtást, és szimulációban gyakorolja a következő lépéseket. A Google szerint Argon különféle robotokkal, kameraképekkel, fizikai adatokkal és világmodellekkel képes együtt dolgozni, miközben a feladatokat több lépésben, folyamatos visszacsatolás mellett oldja meg.
