Posledních několik let „revoluce umělé inteligence“ žila téměř výhradně v cloudu. Pokud jste chtěli dělat něco vážného s modelem velkého jazyka (LLM), potřebovali jste masivní datové centrum, předplatné technologického giganta nebo špičkové PC s drahou grafickou kartou Nvidia. Nové oznámení by však mohlo tuto realitu v jednom klíčovém ohledu radikálně změnit. Společnost Tether nedávno představila QVAC Fabric, projekt infrastruktury s otevřeným zdrojovým kódem určený k provozu a – což je důležitější – trénování modelů umělé inteligence na spotřebním hardwaru.
QVAC Fabric: Tether vzdoruje velkým technologiím díky školení AI na zařízení pro chytré telefony
Modely Gemini Nano od Googlu umožňují provozovat místní umělou inteligenci v telefonu. Tréninkem je však nemůžete změnit nebo „doladit“ svými vlastními daty. QVAC Fabric tuto bariéru překonává a je prvním rámcem, který umožňuje běžnému smartphonu učit se z vašich vlastních dat. Pamatujte, že se to liší od načítání dat z cloudových serverů společnosti (jako to dělá chatbot Gemini). Hovoříme o školení, klíčové fázi při vývoji platforem AI.
Trénink masivního modelu umělé inteligence obvykle vyžaduje neuvěřitelné množství paměti a výpočetního výkonu. Aby se tato hardwarová omezení obešla, inženýrský tým Tetheru spojil dvě chytré technologie: BitNet a LoRA.
Co umožňuje magii
BitNet je specializovaná architektura od Microsoftu, která výrazně komprimuje data modelu, zatímco LoRA (Low-Rank Adaptation) snižuje počet parametrů, které je třeba trénovat, až o 99 %. To se promítá do snížení využití paměti až o 90 % u modelů QVAC Fabric oproti plně přesným modelům.
Spojením obou technologií vytvořil Tether systém, který dokáže doladit model s miliardou parametrů na Samsungu Galaxy S25 za zhruba 80 minut. Pro ty, kteří používají iPhone 16, tým dokonce úspěšně posouval limity pro jemné vyladění modelů s až 13 miliardami parametrů.
Snad nejvýznamnější částí tohoto oznámení je jeho „cross-platformní“ povaha. Až dosud byl tento druh pokročilého školení většinou vázán na specializované systémy Nvidie. QVAC Fabric otevírá dveře pro AMD, Intel a mobilní GPU (jako Adreno a Apple Bionic), aby se poprvé připojily k party.
Výhra v soukromí
Posun k školení „na zařízení“ je také velkou výhrou pro soukromí. V současné době, pokud chcete, aby vám umělá inteligence pomohla shrnout vaše lékařské záznamy nebo návrhy e-mailů na základě vašeho stylu psaní, často musíte tato citlivá data nahrát na firemní server.
Díky novému rámci Tetheru nemusí tato data nikdy opustit vaše zařízení. Můžete trénovat AI na svých osobních dokumentech a soukromých souborech lokálně. Tento „anti-cloudový“ přístup zajišťuje, že váš digitální svět zůstane jen váš, takže nepotřebujete klíče API nebo měsíční předplatné u velkých poskytovatelů technologií. Cílem je zajistit, aby se pokročilá umělá inteligence nestala nástrojem vyhrazeným pouze pro ty, kteří mají „absurdní množství zdrojů“, jak poznamenává generální ředitel Tether Paolo Ardoino.
Zdroj: androidheadlines.com
