Google Genie — egy generatív AI modell, amely képekből teljesen interaktív világokat hoz létre | AI az üzletben #123

Mi az a Google Genie?

Google Genie (https://sites.google.com/view/genie-2024/) egy alapvető világmodell, amelyet a DeepMind fejlesztett ki. Ez egy generatív AI modell, amelyet több mint 30 000 órányi nyilvánosan elérhető 2D platformer videojáték felvételén képeztek ki. Fő jellemzője, hogy képes teljesen interaktív, játszható környezeteket generálni közvetlenül egyes képekből, fényképekből és akár kézzel rajzolt vázlatokból.

Forrás: Genie: Generatív Interaktív Környezetek (https://arxiv.org/abs/2402.15391)

Hogyan lehetséges ez? A Genie egy felügyelet nélküli tanulási technikát alkalmaz a környezet pontos irányításának képességének megszerzésében, kizárólag videofelvételek alapján. Nincs szükség emberi cselekvés címkézésére. Egy speciális cselekvéskódoló modul segítségével érzékeli a finom változásokat a sorozatos videokockák között, és ezeket a mozgás belső reprezentációira, például ugrásra vagy balra fordulásra térképezi fel. A dinamikai modell ezután a kódolt cselekvések alapján generálja a következő kockát a sorozatban.

Ennek eredményeként a Genie bármilyen vizuális adatból teljesen irányítható, interaktív játék környezeteket tud létrehozni. Minden játékos mozgás új, egyedi kockát generál valós időben, sima, játszható élményt teremtve. Ez egy igazán nagy innováció, amely lehetővé teszi számunkra, hogy teljes interaktív világokat hozzunk létre képekből vagy szövegből.

Miért innovatív a Genie?

A Genie innovációja abban rejlik, hogy több kulcselem kombinál egyetlen modellben:

• generatív videomodellek, mint például a Phenaki (https://phenaki.video/), TECO (https://wilson1yan.github.io/teco/) vagy maskvit (https://arxiv.org/abs/2206.11894), amelyek képesek előre jelezni egy sorozat jövőbeli kockáit a bemeneti kockák és szöveg alapján, de nem kínálnak aktív irányítási lehetőségeket,
• világmodellek, amelyek a jövőbeli környezeti állapotok előrejelzésére összpontosítanak egy ügynök cselekedetei alapján, de emberi adatokra van szükségük,
• felügyelet nélküli tanulás, amely lehetővé teszi a Genie számára, hogy a nyers videoadatokból tanulja meg a környezeti dinamikát és a cselekvési teret, emberi cselekvés címkék nélkül.

Bár mindegyik területet korábban már felfedezték, a Genie az első modell, amely ezeket kombinálja, hogy közvetlenül a videofelvételekből tanuljon irányítható környezeteket. Ez a példa nélküli megközelítés a modellek emberi felügyelet nélküli tanítására a Genie kulcsfontosságú innovációja. Megnyitja az ajtót a világhálón elérhető hatalmas mennyiségű videó felhasználásához AI modellek képzésére, és lebontja a címkézett adatok korlátozott elérhetőségével kapcsolatos akadályokat.

A generatív videomodellek, világmodellek és felügyelet nélküli tanulás egyetlen megoldásban való kombinációja alapvető előrelépést jelent a mesterséges intelligencia fejlesztésében. A Genie bemutatja, hogy a fejlett AI rendszerek képesek komplex viselkedéseket és környezeteket tanulni közvetlenül strukturálatlan adatokból, manuális címkézés nélkül. Ez egy kulcsfontosságú lépés az igazi Mesterséges Általános Intelligencia (AGI) eléréséhez.

Forrás: Google Genie (https://sites.google.com/view/genie-2024/)

A Google Genie potenciális alkalmazásai

A Google Genie képességei messze túlmutatnak a videojátékok generálásán. Ez a úttörő AI modell számos területen találhat alkalmazásokat:

• eszköz animátorok számára – egyszerűen töltsön fel egy képet, vázlatot vagy rövid szöveges leírást, és a Genie egy következetes animációt generál,
• korlátlan képzési forrás AI ügynökök számára – a teljesen új területekre való általánosítás képességével a Genie végtelen kihívások medencéjét kínálja, amelyeken a jövőbeli AI rendszerek tanulhatnak. A változatos képzési környezetek hiánya eddig a generikus AI ügynökök fejlesztésének egyik kulcsfontosságú akadálya volt,
• fizikai szimulációk robotika számára – a kutatások kimutatták, hogy a Genie nemcsak virtuális robotokat tud irányítani, hanem a deformálható objektumok fizikai tulajdonságait is megvalósítja. Ennek hatalmas következményei lehetnek a robotika és a fizikai szimulációk fejlesztésére,
• alkalmazások a kreatív iparban – a Genie megkönnyítheti interaktív művészeti installációk, virtuális kiállítások vagy filmek létrehozását. Egyszerűen töltsön fel egy vázlatot, és a modell egy teljesen irányítható 3D világot generál, amely készen áll a felfedezésre.

Azonban a technológia potenciális kihívásait és korlátait nem szabad figyelmen kívül hagyni. A fejlesztés jelenlegi szakaszában a Genie a legjobban szűk területeken, például 2D platform játékokban működik. A bonyolultabb 3D környezetekre való skálázás további kutatást és optimalizálást igényel. Ezenkívül fennáll a kockázata, hogy ezt a technológiát visszaélésre használják, hogy káros vagy veszélyes tartalmakat hozzanak létre. Ezért kritikus fontosságú egy robusztus etikai és jogi keret kidolgozása a hasonló AI modellek fejlesztésének és használatának szabályozására.

Forrás: Google Genie (https://sites.google.com/view/genie-2024/)

Összefoglalás

A teljesen interaktív környezetek létrehozásának lehetővé tételével közvetlenül vizuális adatokból, anélkül, hogy manuálisan címkézni kellene a cselekvéseket, a Google Genie valódi áttörést jelent a generatív mesterséges intelligenciában. Ez az alapvető világmodell hatalmat ad a képek kifejezésére játszható virtuális valóságok formájában, amelyeket ember vagy AI ügynök felfedezhet és irányíthat.

A Genie potenciálja óriási – az eszközöktől a játékfejlesztők számára, a korlátlan AI képzési adatok forrásáig, a fizikai szimulációkig a robotika számára. Ez egy fontos lépés az AGI felé vezető úton is. Ahogy az olyan modellek, mint a Genie, tovább fejlődnek, a határ a valós és virtuális világok között egyre folyékonyabbá válik.

Ha tetszik a tartalmunk, csatlakozzon aktív méheink közösségéhez a Facebookon, Twitteren, LinkedInen, Instagramon, YouTube-on, Pinteresten, TikTokon.