- Google vyvíjí „TorchTPU“, aby jeho čipy umělé inteligence byly plně kompatibilní s PyTorch a aby se usnadnila migrace z grafických karet Nvidia.
- Cílem tohoto kroku je proměnit TPU v mainstreamovou alternativu v cloudu i on-premise prostředí, čímž se sníží závislost na ekosystému CUDA od Nvidie.
- Google úzce spolupracuje se společností Meta, správcem PyTorch, a zvažuje open-source části stacku, aby urychlil jeho přijetí.
- Silnější podpora PyTorch by mohla snížit náklady a technické bariéry pro podniky, které chtějí diverzifikovat svou infrastrukturu umělé inteligence.
Google potichu přetváří svou strategii v závodě o umělou inteligenci . Po několika letech soustředění se na své vlastní značky uvnitř společnosti nyní společnost klade velký důraz na to, aby její čipy umělé inteligence bezproblémově fungovaly s PyTorch, open-source sadou nástrojů, která se stala výchozí volbou pro většinu vývojářů umělé inteligence po celém světě.
Jádrem této změny je projekt interně známý jako „TorchTPU“ , jehož cílem je překlenout propast mezi tím, jak je hardware Googlu konstruován, a tím, jak zákazníci skutečně staví své systémy umělé inteligence. Tím, že Google povýší podporu PyTorch na prvotřídní úroveň na svých tenzorových procesorech (TPU), se snaží využít obrovské výhody, kterou si Nvidia vybudovala prostřednictvím svého softwarového ekosystému CUDA.
Google dělá z TPU vážného rivala pro GPU od Nvidie
Procesory TPU od Googlu jsou již dlouho prezentovány jako vysoce výkonné čipy určené pro úlohy umělé inteligence , ale nedokázaly se vyrovnat všudypřítomnosti grafických procesorů Nvidia. Jedním z klíčových důvodů je, že Nvidia strávila roky zajištěním toho, aby PyTorch na svém hardwaru běžel mimořádně dobře, zatímco Google se zaměřoval hlavně na vlastní nástroje a interní pracovní postupy.
V rámci společnosti Alphabet se TPU staly klíčovým motorem růstu pro Google Cloud . Prodej přístupu k těmto čipům prostřednictvím cloudové platformy je nyní ústřední součástí toho, jak se Google snaží investorům dokázat, že jeho investice do umělé inteligence se mohou promítnout do hmatatelných příjmů, nejen do prestiže výzkumu nebo experimentálních produktů.
Nicméně samotný hardware vývojáře nepřesvědčí. Podniky, které se zabývají TPU, opakovaně Googlu sdělily, že kompatibilita softwaru je problémem : týmy, které se silně standardizovaly na PyTorchu, nechtějí přepracovávat svůj kód ani přeškolovat zaměstnance jen proto, aby vyzkoušely nový čip.
A právě zde přichází na řadu TorchTPU. Tato iniciativa má za cíl, aby se TPU z pohledu vývojáře jevily stejně snadno použitelné s PyTorchem, jako jsou dnes grafické karty Nvidia . Cílem je, aby stávající modely a pipeline PyTorchu bylo možné přenášet s minimálními změnami, a tím se výrazně snížily náklady a riziko experimentování s TPU.
Mluvčí Google Cloudu se vyhnul zabředávání do technických detailů, ale potvrdil, že hlavním cílem je poskytnout zákazníkům mnohem větší flexibilitu v tom, jakým způsobem provozují úlohy s umělou inteligencí , bez ohledu na to, jaký hardware si vyberou.
Co TorchTPU skutečně mění pro vývojáře PyTorchu
PyTorch, původně vytvořený a propagovaný společností Meta, se stal de facto standardním frameworkem pro tvorbu moderních systémů umělé inteligence . Většina inženýrů v Silicon Valley a mimo něj ručně neproduje jádra pro čipy Nvidia, AMD nebo Google; místo toho se spoléhají na PyTorch a podobné frameworky, které poskytují vrstvy předpřipravených komponent a trénovacích nástrojů.
Od svého vydání v roce 2016 je růst PyTorchu úzce spjat s CUDA a s ní spojenými knihovnami , což je softwarový balík, který mnoho analytiků z Wall Street považuje za nejdůležitější strategický majetek společnosti Nvidia. Inženýři společnosti Nvidia investovali značné prostředky do zajištění maximální efektivity PyTorchu na jejich grafických procesorech, což z něj činí výchozí volbu pro trénování a nasazování rozsáhlých modelů umělé inteligence.
Google naopak strávil roky podporou Jaxu , dalšího softwarového frameworku preferovaného zejména v rámci vlastních výzkumných a produktových týmů. TPU se pro efektivní spouštění kódu založeného na Jaxu spoléhaly na vrstvu kompilátoru s názvem XLA a velká část interního softwarového stacku a optimalizací výkonu pro umělou inteligenci společnosti Google byla postavena na této kombinaci.
Výsledkem je rostoucí nesoulad mezi tím, jak samotný Google používá své čipy , a tím, jak většina externích zákazníků preferuje práci. Mnoho podniků se téměř výhradně standardizovalo na PyTorch, což znamená, že přechod na TPU obvykle znamenal zásadní posun v nástrojích, kódu a dovednostech vývojářů.
S TorchTPU se Google snaží toto tření odstranit. Cílem projektu je poskytnout plnohodnotnou podporu PyTorch na TPU , aby se firmy mohly i nadále spoléhat na známé knihovny, trénovací smyčky a vzory nasazení a zároveň měnit pouze základní hardwarový cíl. To by mohlo výrazně snížit jak inženýrské úsilí, tak i křivku učení pro týmy, které chtějí vyhodnotit výkon TPU nebo cenové výhody.
Více zdrojů, open source a hlubší závazek
Podle lidí obeznámených s iniciativou není TorchTPU jen dalším vedlejším experimentem. Na rozdíl od některých dřívějších pokusů o spuštění PyTorchu na TPU nyní Google tomuto úsilí přidělil větší organizační pozornost, rozpočet a strategický význam a považuje ho spíše za ústřední pilíř svého plánu infrastruktury umělé inteligence než za projekt zaměřený na kompatibilitu s konkrétní oblastí.
Jedním z nejvýznamnějších zvažovaných prvků jsou open-source části softwarového balíku TorchTPU. Uvolněním klíčových komponent komunitě doufá Google, že urychlí přijetí, přiláká externí přispěvatele a vybuduje důvěru mezi velkými zákazníky, kteří chtějí transparentnost a dlouhodobou stabilitu svých platforem umělé inteligence.
Tento otevřenější přístup má také uklidnit společnosti, které vnímaly podporu TPU jako příliš úzce spjatou s interním způsobem práce Googlu. Pokud by externím vývojářům byla dána možnost kontrolovat, rozšiřovat a ladit komponenty TorchTPU, mohly by se TPU jevit méně jako proprietární ostrov a spíše jako prvotřídní občané v širším ekosystému PyTorch.
Pro podniky je to důležité z praktického hlediska. Pokud TorchTPU uspěje, mohlo by to výrazně snížit náklady na migraci z grafických procesorů Nvidia na TPU od Googlu , což by usnadnilo diverzifikaci výpočetní infrastruktury bez nutnosti několikaletého přepisování softwaru.
Zákazníci Googlu opakovaně sdělovali, že historický požadavek na přechod na Jax byl hlavním odstrašujícím faktorem. PyTorch již dominuje mezi vývojáři umělé inteligence a na rychle se rozvíjejících trzích je jen málo organizací ochotno pozastavit vývoj produktů, zatímco se jejich týmy přeorientují na nový framework jen proto, aby získaly přístup k alternativnímu hardwaru.
Od interního hardwaru k široké nabídce pro podniky
Společnost Alphabet si dlouhou dobu ponechávala většinu své kapacity TPU pro interní použití v rámci Googlu , kde poháněla vyhledávání, překlad, doporučovací systémy a raný výzkum umělé inteligence. Tento postoj se začal měnit v roce 2022, kdy divize cloudových výpočtů získala větší pravomoc nad tím, jak se TPU vyrábějí a prodávají.
Od té doby se dostupnost TPU prostřednictvím Google Cloudu podstatně zvýšila . S rostoucím zájmem podniků o umělou inteligenci společnost Google pozicionovala své čipy jako způsob, jak mohou zákazníci využívat špičkové výpočetní technologie, aniž by museli spravovat své vlastní úzce propojené clustery GPU.
V poslední době Google zašel ještě o krok dál a začal prodávat TPU přímo k nasazení ve vlastních datových centrech zákazníků , nikoli pouze prostřednictvím svého veřejného cloudu. Tento posun umožňuje větším organizacím s přísnými regulačními požadavky nebo požadavky na latenci integrovat TPU do své on-premise infrastruktury a zároveň těžit z výhod hardwarového plánu Googlu.
Tato expanze také mění interní priority společnosti Google. Společnost potřebuje kapacitu TPU jak k provozování vlastních produktů umělé inteligence – od chatbota Gemini až po vyhledávací funkce poháněné umělou inteligencí – tak k obsluze externích zákazníků Google Cloudu, včetně významných firem zabývajících se umělou inteligencí, jako je Anthropic, které se spoléhají na pronajatou kapacitu TPU.
Aby Google vše koordinoval, povýšil vedení infrastruktury umělé inteligence: zkušený manažer Amin Vahdat byl jmenován vedoucím infrastruktury umělé inteligence a nyní je přímo podřízen generálnímu řediteli Sundaru Pichaiovi . Tato linie podřízenosti podtrhuje, jak ústřední se hardwarový a softwarový stack stal pro širší ambice Googlu v oblasti umělé inteligence.
Partnerství s Meta pro posílení PyTorch na TPU
Google se o TorchTPU nezabývá sám. Podle lidí obeznámených s jednáními společnost úzce spolupracuje se společností Meta, tvůrcem a správcem PyTorch , na urychlení podpory pro TPU a sladění technických směrů, které budou přínosem pro oba partnery.
Jednání mezi společnostmi zahrnují ujednání, která by společnosti Meta poskytla přístup k větší kapacitě TPU . Dřívější návrhy to údajně formulovaly jako spravované služby: Google by nasadil své čipy v prostředích, kde by Meta mohla provozovat svůj vlastní software a modely, přičemž Google by se postaral o velkou část provozních nákladů.
Pro Metu je strategicky důležité zajistit, aby PyTorch běžel efektivně na širší škále hardwaru. Společnost má jasnou motivaci ke snížení nákladů na inferenci a diverzifikaci od výhradní závislosti na grafických procesorech Nvidia , a to jak za účelem snížení vlastních výdajů, tak i posílení své vyjednávací pozice při vyjednávání o budoucích nákupech čipů.
Spoluprácí se společností Google může Meta pomoci zajistit, aby PyTorch zůstal hardwarově nezávislý a široce optimalizovaný , místo aby byl vnímán jako úzce svázaný s ekosystémem jediného dodavatele. To zase posiluje status PyTorchu jako komunitního standardu a udržuje framework atraktivní pro výzkumníky i podniky.
Společnost Meta se zatím k těmto konkrétním ujednáním odmítla veřejně vyjádřit, ale shoda zájmů je jasná : gigant v oblasti sociálních médií a umělé inteligence chce možnosti nad rámec Nvidie, zatímco Google chce, aby se PyTorch na jejích TPU cítil jako nativní, aby si ho více zákazníků bylo ochotno vyzkoušet.
Zbavování se výhody Nvidie v oblasti CUDA
Dominance společnosti Nvidia v oblasti umělé inteligence nespočívá jen v dodávání výkonných grafických procesorů. Během mnoha let si společnost vybudovala rozsáhlý softwarový stack – založený na platformách – který je hluboce integrován do frameworků, jako je PyTorch. Tato kombinace hardwaru a softwaru se stala výchozí platformou pro trénování a inferenci pro špičkové modely umělé inteligence.
Kvůli této těsné integraci mnoho organizací považuje odklon od Nvidie za riskantní a drahý . Kódové základny, pracovní postupy i odborné znalosti zaměstnanců jsou naladěny na CUDA, takže alternativní čipy vypadají jako potenciální zdroj napětí, i když na papíře slibují lepší cenu nebo výkon.
Snaha Googlu o zavedení TorchTPU je přímým pokusem tuto výhodu narušit. Pokud PyTorch může běžet na TPU s podobnou úrovní snadnosti a ladění výkonu jako na grafických procesorech Nvidia, podniky získají důvěryhodnou alternativu pro velké úlohy s využitím umělé inteligence . Na trhu, kde poptávka po výpočetních technologiích s využitím umělé inteligence prudce roste a omezení nabídky jsou běžná, by mohla být další seriózní možnost velmi atraktivní.
Zároveň rozhodnutí Googlu zvážit open-source klíčových částí platformy TorchTPU signalizuje odlišný přístup od vertikálně integrovaného stylu společnosti Nvidia. Sdílením většího množství základního softwaru se Google snaží budovat důvěru mezi vývojáři, kteří si cení transparentnosti a přenositelnosti.
Nic z toho nezaručuje, že TPU nahradí GPU, ale mění to kalkul. Místo výběru mezi vyspělým ekosystémem Nvidie a alternativou, která vyžaduje kompletní migraci nástrojů, by zákazníci mohli zvážit výkon, cenu a dostupnost a zároveň zůstat v známém prostředí PyTorch.
V cloudových i lokálních nasazeních by tento posun mohl organizacím usnadnit postupné kombinování dodavatelů hardwaru , spíše než aby se jejich plány pro umělou inteligenci standardně vázaly na jediného dodavatele.
S tím, jak Google prohlubuje svůj závazek k PyTorch prostřednictvím TorchTPU, rozšiřuje podnikový přístup k TPU a upevňuje spolupráci se společností Meta, se konkurenční prostředí v oblasti infrastruktury umělé inteligence stává proměnlivějším. Náskok společnosti Nvidia, vybudovaný na letech integrace hardwaru a CUDA, je stále značný, ale zákazníci nyní vidí realističtější cesty k diverzifikaci toho, kde jejich úlohy umělé inteligence běží a kolik platí za podkladové výpočetní prostředky.
