Multimodális MI. Az mesterséges intelligencia új felhasználási lehetőségei az üzleti életben | MI az üzletben #21

Mi az a multimodális mesterséges intelligencia?

A multimodális mesterséges intelligencia egy rendkívül fejlett formája az MI-nek, amely utánozza az emberi képességet, hogy a világot különböző érzékekből származó tartalom és adatok segítségével értelmezze. Ahogyan az emberek megértik a szöveget, képeket és hangokat, a multimodális MI integrálja ezeket a különböző típusú adatokat, hogy megértse az információban rejlő kontextust és összetett jelentést. Az üzleti életben például lehetővé teheti a vásárlói vélemények jobb megértését azáltal, hogy elemzi, mit mondanak, és hogyan fejezik ki azt a hangszínük vagy arckifejezésük révén.

A hagyományos MI rendszerek jellemzően unimodálisak, ami azt jelenti, hogy egy típusú adatra specializálódtak, például szövegre vagy képekre. Nagy mennyiségű adatot képesek gyorsan feldolgozni és olyan mintákat észlelni, amelyeket az emberi intelligencia nem tud észlelni. Azonban komoly korlátozásaik vannak. Érzéketlenek a kontextusra, és kevésbé ügyesek a szokatlan és kétértelmű helyzetek kezelésében.

Ezért a multimodális MI egy lépéssel tovább megy, integrálva a modalitásokat. Ez lehetővé teszi a mélyebb megértést és sokkal érdekesebb interakciókat az emberek és az MI között.

Mit tud tenni a multimodális MI?

A mai fejlesztésű mesterséges intelligencia modellek a következő modalitás-párokat alkalmazzák:

• szövegből képre – az ilyen multimodális MI képeket tud létrehozni szöveges utasítások alapján; ez a híres Midjourney, az OpenAI által kifejlesztett DALL-E 3, amely a böngészőben elérhető Bing Image Creator, az advanced Stable Diffusion vagy a család legfiatalabb eszköze, az Ideogram alapvető képessége:


Forrás: Ideogram (https://ideogram.ai)

A multimodális MI modellek képesek követni a szöveges utasításokat és az inspiráló képet egyidejűleg. Még érdekesebb, pontosabban meghatározott eredményeket és a létrehozott képek variációit kínálják. Ez nagyon hasznos, ha csak egy kicsit más grafikát vagy bannert szeretnél kapni, vagy egyetlen elemet, például egy kávéscsészét szeretnél hozzáadni vagy eltávolítani:



Forrás: Ideogram (https://ideogram.ai)

• Képből szöveg – a mesterséges intelligencia sokkal többre képes, mint hogy felismerje és lefordítsa a képen látható szöveget, vagy hasonló terméket találjon. Képes szavakkal leírni egy képet – ahogyan a Midjourney teszi, amikor beírod a /describe parancsot, a Google Bard és a Salesforce modell (amelyet főként automatizált termék- és képleírások létrehozására használnak e-kereskedelmi oldalakon,


Forrás: HuggingFace.co (https://huggingface.co/tasks/image-to-text)

• hangból szöveg – a multimodális MI a Google Bard-ban is lehetővé teszi a hangparancsokat, de a legjobban a Bing Chat és a ChatGPT teljesít, köszönhetően a kiváló Whisper API-jának, amely képes a beszéd és a mondatírás több nyelven történő felismerésére és rögzítésére, ami többek között nagymértékben megkönnyítheti a nemzetközi ügyfélszolgálati központok munkáját, valamint lehetővé teszi a találkozók gyors átiratát és az üzleti beszélgetések valós idejű fordítását más nyelvekre,
• szövegből hang – az ElevenLabs eszköze lehetővé teszi, hogy bármilyen választott szöveget valósághű hangzású kiejtéssé alakítsunk, sőt “hangklónozást” is, amellyel megtaníthatjuk az MI-nek a hangját és kifejezését, hogy bármilyen szöveget rögzítsünk egy idegen nyelven marketing vagy külföldi befektetőknek szóló prezentációkhoz, például,
• szövegből videó – a szöveg videóra alakítása beszélő avatarral lehetséges a D-ID, Colossyan és Synthesia eszközökben, többek között,
• képből videó – a képekből és szöveges utasításokból videók, beleértve a zenei videókat, már ma is lehetséges a Kaiber által, és a Meta bejelentette a Make-A-Video eszköz hamarosan megjelenő kiadását,
• kép és 3D modell – ez a multimodális MI különösen ígéretes területe, amelyet a Meta és az Nvidia céloz meg, lehetővé téve a valósághű avatarok létrehozását fényképekből, valamint a Masterpiece Studio (https://masterpiecestudio.com/masterpiece-studio-pro), NeROIC (https://zfkuang.github.io/NeROIC/), 3DFY (https://3dfy.ai/) által az objektumok és termékek 3D modelljeinek felépítését, amellyel például egy kétdimenziós prototípusos terméket vissza lehet hozni a kamerához egy másik oldalról, gyors 3D vizualizációt lehet létrehozni egy bútor vázlatából, vagy akár egy szöveges leírásból:


Forrás: NeROIC (https://zfkuang.github.io/NeROIC/resources/material.png)

• képből mozgás a térben – ez a modalitás lehetővé teszi, hogy a multimodális MI túllépjen a képernyőkön az Internet of Things (IoT), az autonóm járművek és a robotika területére, ahol az eszközök pontos műveleteket végezhetnek a fejlett képfelismerés és a környezeti változásokra való reagálás képessége révén.

Vannak kísérletek a multimodális MI zene képekké alakítására is, például (https://huggingface.co/spaces/fffiloni/Music-To-Image), de nézzük meg közelebbről a multimodális MI üzleti alkalmazásait. Hogyan jelenik meg a multimodalitás a legnépszerűbb MI-alapú chatbotokban, a ChatGPT-ben és a Google Bard-ban?

Multimodalitás a Google Bard, BingChat és ChatGPT esetében

A Google Bard képes egyszerű képek leírására, és 2023 júliusától hangkommunikációval is fel van szerelve, amikor megjelent Európában. A képfelismerési eredmények változó minősége ellenére eddig ez volt az egyik erőssége, amely megkülönbözteti a Google megoldását a ChatGPT-től.

A BingChat, a DALL-E 3 használatának köszönhetően, képes képeket generálni szöveges vagy hangutasítások alapján. Bár nem tudja szavakkal leírni a felhasználó által csatolt képeket, módosíthatja azokat, vagy inspirációként használhatja új képek létrehozásához.

2023 októberétől az OpenAI új hang- és képfunkciókat is bevezetett a ChatGPT Plus, az eszköz fizetős verziójába. Ezek lehetővé teszik, hogy hangbeszélgetést folytassunk, vagy megmutassunk a ChatGPT-nek egy képet, így tudni fogja, mit kérdezel anélkül, hogy pontos szavakkal kellene leírnod.

Például készíthetsz egy fényképet egy emlékműről utazás közben, és élő beszélgetést folytathatsz arról, hogy mi érdekes benne. Vagy készíthetsz egy képet a hűtőd belsejéről, hogy megtudd, mit tudsz készíteni vacsorára a rendelkezésre álló hozzávalókból, és kérhetsz egy lépésről lépésre szóló receptet.

3 alkalmazás a multimodális MI-ben az üzleti életben

A képek leírása segíthet például az áruk leltárának elkészítésében CCTV kamera adatai alapján, vagy a bolt polcain hiányzó termékek azonosításában. Az objektumok manipulálása felhasználható a korábban azonosított hiányzó áruk pótlására. De hogyan használhatók a multimodális chatbotok az üzleti életben? Íme három példa:

1. Ügyfélszolgálat: Egy multimodális chat, amelyet egy online boltban valósítottak meg, fejlett ügyfélszolgálati asszisztensként működhet, amely nemcsak szöveges kérdésekre válaszol, hanem képeket és hangutasításokat is megért. Például egy vásárló készíthet egy fényképet egy sérült termékről, és elküldheti a chatbotnak, amely segít azonosítani a problémát és megfelelő megoldást kínálni.
2. Közösségi média elemzés: A multimodális mesterséges intelligencia képes elemezni a közösségi média bejegyzéseket, amelyek szöveget, képeket és akár videókat is tartalmaznak, hogy megértse, mit mondanak a vásárlók egy cégről és annak termékeiről. Ez segíthet a cégnek jobban megérteni a vásárlói visszajelzéseket és gyorsabban reagálni az igényeikre.
3. Képzés és fejlesztés: A ChatGPT használható az alkalmazottak képzésére. Például interaktív képzési üléseket tarthat, amelyek szöveget és képeket is tartalmaznak, hogy segítsen az alkalmazottaknak jobban megérteni a bonyolult fogalmakat.

A multimodális MI jövője az üzleti életben

Jó példa a jövőbe mutató multimodális MI-re egy cég üzleti folyamatainek optimalizálása. Például egy MI rendszer elemezheti az adatokat különböző forrásokból, például értékesítési adatokból, vásárlói adatokból és közösségi média adatokból, hogy azonosítsa a fejlesztésre szoruló területeket és javaslatokat tegyen a lehetséges megoldásokra.

Másik példa a multimodális MI alkalmazása a logisztika megszervezésére. A GPS adatok, a kamerából olvasott raktárállapot és a szállítási adatok kombinálásával optimalizálhatók a logisztikai folyamatok és csökkenthetők az üzleti költségek.

Sok ilyen funkciót már ma is alkalmaznak összetett rendszerekben, mint például az autonóm autók és okos városok. Azonban kisebb üzleti környezetekben még nem voltak ilyen mértékben jelen.

Összefoglalás

A multimodalitás, vagyis a különböző típusú adatok, például szöveg, képek és hangok feldolgozásának képessége, elősegíti a mélyebb kontextuális megértést és a jobb interakciót az emberek és az MI rendszerek között.

Nyitott kérdés marad, hogy milyen új modalitás-kombinációk létezhetnek a közeljövőben? Például lehetséges lesz-e a szövegelemzés és a testbeszéd kombinálása, hogy az MI előre jelezhesse a vásárlói igényeket az arckifejezések és gesztusok elemzésével? Ez a típusú innováció új horizontokat nyit az üzleti életben, segítve a folyamatosan változó vásárlói elvárások teljesítését.

Ha tetszik a tartalmunk, csatlakozz a nyüzsgő méheink közösségéhez a Facebookon, Twitteren, LinkedIn-en, Instagramon, YouTube-on, Pinterest-en, TikTok-on.