Knowledge base 7

A Pixelek Forradalma: A Text-to-Image Generátorok Fejlődése

Üdvözöllek  a generatív művészet világában! Az utóbbi években tanúi lehettünk annak, ahogy a mesterséges intelligencia a sci-fi álomból a mindennapi kreativitás eszközévé vált. De hogyan jutottunk el az elmosódott foltoktól a fotorealisztikus remekművekig?1. A kezdetek: A GAN-modellek korszaka (2014–2020). A történet 2014-ben kezdődött, amikor Ian Goodfellow bemutatta a Generatív Ellenérdekelt Hálózatokat (GAN).

• A technika: Képzeljünk el egy hamisítót és egy művészeti szakértőt. A "hamisító" (generátor) képeket gyárt, a "szakértő" (diszkriminátor) pedig próbálja kiszűrni a hibákat. Ez az oda-vissza játék kényszerítette az MI-t a fejlődésre.

• Eredmény: Ekkor még csak apró, 64x64 pixeles, gyakran szürreális és torz képek születtek, de a gépi tanulás alapjait ezzel lefektették.

2. A nagy áttörés: DALL-E és a szemantika (2021). Az OpenAI 2021-ben mutatta be az első DALL-E modellt. Ez volt az első alkalom, hogy egy MI valóban "értette" a nyelvi koncepciókat.

• A technika: A GPT modelleknél használt Transformer architektúrát alkalmazták a képekre. Ez lehetővé tette, hogy az MI összeillesszen egymástól távol álló fogalmakat (pl.: "egy pingvin harcművész ruhában").

• Eredmény: Megjelent a humor és a kreativitás a generált képeken, bár a felbontás még mindig hagyott kívánnivalót maga után.

3. A jelen: Diffúziós modellek és a tökély (2022–napjainkig). 2022-ben a technológia szintet lépett a Diffúziós modellek megjelenésével. Ez hozta el a Midjourney, a Stable Diffusion és a DALL-E 3 aranykorát.

• A technika: A folyamat lényege a "zajmentesítés". Az MI megtanulja, hogyan néz ki a tiszta kép, ha fokozatosan véletlenszerű zajt (pixeles "hangyákat") adunk hozzá. A generálás során fordítva jár el: egy kaotikus zajhalmazból indul ki, és a szöveges instrukció (prompt) alapján lépésről lépésre "kifésüli" belőle a kész képet.

• Eredmény: Fotorealisztikus textúrák, pontos fény-árnyék hatások és bármilyen művészeti stílus tökéletes utánzása.

Hogyan működik ez a gyakorlatban?A mai modern generátorok három fő pillérre épülnek:

1. Szövegértelmező (Encoder): Lefordítja az emberi nyelvet matematikai vektorokká.
2. Diffúziós folyamat: A zajból kiindulva formákat és textúrákat hoz létre.
3. Dekódoló: A matematikai adatokat végül látható, nagy felbontású képpé alakítja.

Mi várható a jövőben?A fejlődés nem áll meg: a fókusz most a konzisztencián (hogy ugyanaz a karakter több képen is ugyanúgy nézzen ki) és a videógeneráláson van. Ma már nem az a kérdés, hogy az MI képes-e megalkotni, amit elképzeltünk, hanem az, hogy mi milyen pontosan tudjuk azt körülírni.

Egy kis érdekesség: 

A motor a háttérben: Mi az a GPT? A modern képgenerátorok nem léteznének a szövegértési forradalom nélkül. A legfontosabb technológia, amely ezt lehetővé teszi, a GPT, azaz a Generative Pre-trained Transformer. De mit is jelentenek ezek a kifejezések a képalkotás folyamatában?

Összegezve: Amikor beírsz egy leírást (promptot), a Transformer értelmezi a szándékodat, a Pre-trained tudásbázis biztosítja a vizuális stílust, a Generatív folyamat pedig megalkotja a kész művet.

• Generatív (Generative): Ez a képesség teszi lehetővé, hogy az MI ne csak keressen egy meglévő fotót, hanem a pixelek millióiból valami teljesen újat hozzon létre az utasításod alapján.

• Előre betanított (Pre-trained): Az algoritmus több milliárd kép-szöveg párosításon "tanult meg" látni. Tudja, mi a különbség egy "impresszionista festmény" és egy "makró fotó" között, még mielőtt elkezdenél vele dolgozni.

• Transzformátor (Transformer): Ez a rendszer "agya". Ez az architektúra felel azért, hogy az MI megértse az emberi nyelv árnyalatait. Segítségével tudja értelmezni, hogy a "kutya kergeti a labdát" és a "labda kergeti a kutyát" két teljesen különböző vizuális jelenet, hiába ugyanazok a szavak szerepelnek bennük.

Összegezve: Amikor beírsz egy leírást (promptot), a Transformer értelmezi a szándékodat, a Pre-trained tudásbázis biztosítja a vizuális stílust, a Generatív folyamat pedig megalkotja a kész művet.