ReALM. Egy úttörő nyelvi modell az Apple-től? | AI az üzletben #121

Mi az a ReALM?

A ReALM a “Referenciák Feloldása Mint Nyelvi Modellezés” rövidítése, egy forradalmi megoldás, amelyet az Apple kutatói fejlesztettek ki. Ez egy új nyelvi modell (Nagy Nyelvi Modell, LLM), amely a referenciák felismerésének problémáját a nyelvi modellezés területén végzett feladatként kezeli.

A ReALM hatékonyan alakítja át a különböző típusú kontextusokat szöveges reprezentációvá, amelyet nyelvi feladat részeként dolgoz fel. Ez magában foglalhatja:

• beszélgetések – például szöveges üzenetek, hangparancsok egy asszisztensnek, vagy e-mailek,
• elemek a képernyőn – például fényképek, naptár, időjárás widget, vagy a háttérben futó alkalmazások és folyamatok.

Mi különbözteti meg a ReALM-ot más referenciafelismerő modellektől? Először is, a megközelítés – a képfeldolgozás helyett a ReALM a szövegterületen működik. Ez sokkal könnyebbé és hatékonyabbá teszi, ami lehetővé teszi, hogy közvetlenül mobil eszközökön fusson, miközben megőrzi a felhasználói adatokat.

Miben jobb a ReALM, mint a GPT-4?

Az Apple kutatócsapata a ReALM-ot a piacon elérhető legnagyobb teljesítményű nyelvi modellekhez – az OpenAI GPT-3.5 és GPT-4-hez – hasonlította. Az eredmények lenyűgözőek voltak. A referenciafelismerési feladatokban a legkisebb ReALM változat olyan pontosságot ért el, amely összehasonlítható a GPT-4-gyel! A nagyobb ReALM modellek még a GPT-4-et is felülmúlták a képernyőn megjelenő elemekre való hivatkozások felismerésében (http://arxiv.org/abs/2403.20329).

Mi magyarázza ezt az előnyt? Először is, a ReALM kiválóan kezeli a domain-specifikus lekérdezéseket, például az okosotthon eszközökkel kapcsolatosakat. Ennek az az oka, hogy a ReALM mélyebb megértést mutat a kontextusról, mivel a modellt domain-specifikus adatokra finomhangolják.

Továbbá, ellentétben a GPT-4-gyel, amely elsősorban valós tárgyak képein képez, a ReALM kiemelkedik a szöveges elemek és az alkalmazás felhasználói felületeinek komponenseinek felismerésében. És az interfész megértése kulcsfontosságú a hangasszisztensek zökkenőmentes interakciójához a ma használt alkalmazásokkal.

Forrás: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Ez a valóban intelligens asszisztensek korszakának kezdete?

Valóban, a ReALM integrációja a Siri-vel egy teljesen új fejezetet nyithat a humán-számítógép interakcióban. A ReALM-mal a Siri képes lesz megérteni azokat a parancsokat, amelyek hivatkozásokat tartalmaznak a okostelefon képernyőjén megjelenő elemekre, valamint a háttérben futó folyamatokra és alkalmazásokra. De mikor lesz ez a lehetőség elérhető a felhasználók számára? Ez még ismeretlen.

Csak a modell technikai képességein alapuló spekulációkkal maradunk. Hogyan működhetne egy ReALM-alapú Siri? Például, ha egy üzleti listázó oldalon böngészel, és látsz egy céget, amely érdekel, egyszerűen mondhatod a Sirinek: “Hívd ezt a céget,” és az asszisztens – a ReALM segítségével a kontextus elemzésében – megtalálja a megadott cég telefonszámát, és kezdeményezi a hívást. Még azt sem kell pontosan elmagyaráznod, hogy melyik cégről van szó.

A ReALM lehetőségeinek csak a kezdeténél tartunk. Az olyan parancsok, mint a “Játssza le az utolsó lejátszási listát”, lehetővé tennék a multimédiás alkalmazások és az okosotthon eszközök intuitív vezérlését. A ReALM lehetővé tenné a Siri számára a beszélgetések és a parancsok történetének kontextusának megértését is, így az asszisztens megfelelően reagálna a felhasználó korábbi kéréseire. Ez egy lépés az intelligens ügynökök felé, közelebb hozva minket nemcsak egy olyan mesterséges intelligenciához, amely megérti a kéréseinket, hanem egy olyanhoz is, amely tudja, hogyan kell végrehajtani a parancsokat.

És ez csak a ReALM által nyújtott lehetőségek kezdete. Az olyan parancsok, mint a “játssza le az utolsó lejátszási listát”, lehetővé tennék a multimédiás alkalmazások és az okosotthon eszközök intuitív vezérlését. A ReALM lehetővé tenné a Siri számára a beszélgetések és a parancsok történetének kontextusának megértését is, így az asszisztens megfelelően reagálna a felhasználó korábbi kéréseire. Ez egy lépés az intelligens ügynökök felé, közelebb hozva minket nemcsak egy olyan mesterséges intelligenciához, amely megérti a kéréseinket, hanem egy olyanhoz is, amely tudja, hogyan kell végrehajtani a parancsokat.

Sajnos az Android eszközök felhasználóinak várniuk kell. Jelenleg nincs információ a Google terveiről, hogy a Gemini képességeit hozzáadja a Google Asszisztenshez. Egy Google Gemini alkalmazás Android eszközökre készült (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US), de ez még nem elérhető az Egyesült Államokon kívül.

Forrás: Google Play (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US)

Összefoglalás

A ReALM az Apple innovatív megközelítése a hangasszisztensek kontextusfelismerési problémájának megoldására. A képfeldolgozás helyett ez a nyelvi modell különböző típusú kontextusokat alakít át szöveges reprezentációvá, amelyet nyelvi feladatban dolgoz fel. Ez a megközelítés nemcsak a magas felismerési pontosságot biztosítja, hanem lehetővé teszi a mobil eszközökön való működést is, miközben megőrzi a felhasználói adatokat.

A Siri ReALM-hoz való hozzáférése természetesebb és kontextuálisabb hanginterakciókat biztosíthat, ami fontos lépés a valóban intelligens asszisztensek felé. A ReALM-mal a Siri azonnal reagálni tud a képernyőn megjelenő elemekkel, alkalmazásokkal és háttérfolyamatokkal kapcsolatos parancsokra. Egy dolog biztos – a segítők kontextuális tudatosságának javítása kulcsfontosságú a valóban intelligens és természetes hanginterakciók létrehozásához, és a ReALM kétségtelenül fontos lépés ebbe az irányba.

Ha tetszik a tartalmunk, csatlakozz a nyüzsgő méheink közösségéhez a Facebookon, Twitteren, LinkedIn-en, Instagramon, YouTube-on, Pinterest-en, TikTok-on.