Po LLM a agentech další hranice AI: jazykové modely videa

„Ve fyzické AI by tento model musel zachycovat 3D vizuální geometrii a fyzikální zákony – gravitaci, tření, srážky atd. – které jsou součástí interakce se všemi typy objektů v libovolném prostředí,“ řekl Kenny Siebert, inženýr výzkumu AI ve Standard Bots.

Světové modely pak pomáhají robotům pochopit a vyhodnotit důsledky akcí, které může podniknout. Některé světové modely generují v každém kroku krátké simulace možných výsledků podobné videu, což pomáhá robotům vybrat tu nejlepší akci.

„Myslím, že rozdíl oproti světovým modelům je [that] nestačí jen předvídat slova na značce nebo pixely, které by se mohly stát dál, ale musí skutečně rozumět tomu, co se může stát,“ řekl Galda. Robot by například mohl číst značky jako „stop“ nebo „nebezpečná zóna“ na továrním podlaží nebo na silnici a pochopit, že při pohybu vpřed musí být mimořádně opatrný.