Představte si svět, kde je každé zařízení, od mobilních telefonů po servery, vybaveno schopností efektivně zpracovávat AI modely. Akcelerátory jako Qualcomm Cloud AI 100 Ultra nyní umožňují právě to – energeticky šetrné a výkonné zpracování dat na okraji sítě. Tento článek vás provede revolucí v AI výpočtech, kde se optimalizace pro zpracování složitých matic snoubí s potřebou škálovatelnosti a energetické efektivity. Objevte, jak tyto inovace otevírají dveře k nové éře inteligentní technologie, která je nyní dosažitelná pro všechny.
Jak jsme už dříve uvedli, pro moderní modely umělé inteligence je charakteristické, že od sebe navzájem oddělují režim učení a režim provozu neboli inference. Učení vyžaduje extrémně výkonný hardware a má velkou spotřebu energie, zatímco spouštění modelů je podstatně méně náročné. Dostatečně optimalizované modely jsou tak malé a tak nenáročné, že je možné je spouštět na straně klientského zařízení, ať už jde o mobilní telefon, AR brýle, procesor v chytrém autě a nebo v robotech: Takovému zpracování umělé inteligence se říká edge AI, edge AI computing („zpracování na hraně reality“).
Pro základní provoz modelů zřejmě v dohledné době postačí nové funkce akcelerace AI výpočtů pomocí tenzorových jednotek (TPU, Tensor Processing Unit), někdy nazývaných též neuroakcelerátory (NPU, Neural Processing Unit). V obou případech jde o akceleraci maticových výpočtů, protože většina algoritmů umělé inteligence je založena na zpracování velkých a řídkých matic (sparse matrix, matice obsahující většinu prvků nulových).
Ty jsou obvykle integrované jako výpočetní jednotky v moderních procesorech (Apple M1, Intel Core Ultra a vyšší). Stroje připravené pro práci s umělou inteligencí poznáte jak podle přítomnosti těchto jednotek, tak také podle toho, že mají zvýšený objem paměti, protože se modely pro umělou inteligenci někam musejí uložit. Nová generace laptopů připravených pro provoz AI modelů by měla mít alespoň 16 GB RAM, ale dnes mají podobný objem paměti i výkonnější mobilní telefony.
Pokud je potřeba vyšší výkon, je možné dnes použít akceleraci AI výpočtů na grafických kartách (GPU computing), ale nově vzniká zvláštní třída přídavných neuroakcelerátorů, jako je nově připravovaný Qualcomm Cloud AI 100 Ultra. Jde o přídavnou kartu v podobě rozšiřující PCIe Gen4 karty, která obsahuje AI akcelerátor a vlastní paměť. AI akcelerátor je optimalizovaný procesor se 64 jádry s výkonem 870 TOPS (tera operací za sekundu), který je doplněn 128 GB RAM. Tento akcelerátor dovoluje spouštění AI modelů až se 100 miliardami parametrů, přičemž jde o škálovatelné řešení, dvě takové karty dokážou provozovat model s až 175 miliardami parametrů.
Zásadní výhodou tohoto řešení je to, že má oproti grafickým kartám mnohem více paměti, ale navíc je také energeticky podstatně efektivnější, má spotřebu jen asi 150 wattů, což odpovídá dnes spíše základní grafické kartě. Jde o řešení určené pro servery s tím, že každá karta dovoluje současný provoz až čtyř různých modelů umělé inteligence a je možné výkon škálovat přidáváním dalších akcelerátorů. To dovolí zákazníkům vytvořit si energeticky efektivní řešení s takovým výkonem, který potřebují. Podle odhadů Qualcommu by jejich akcelerátor mohl snížit náklady na provoz (inferenci) na desetinu.
Qualcomm Cloud AI 100 Ultra je v současnosti dostupný ve vývojové verzi (devkit) pro vývojáře, plánuje se jeho široké nasazení jak u cloudových služeb, tak i v serverech firemních zákazníků. Toto zařízení by mohlo například nahradit callcentra, centra technické podpory, nabídnout možnost generovat obsah podle svých požadavků a řešit podobné úlohy umělé inteligence.
i
Další seriály Michala Rybka na Alza.cz
Akcelerátory AI, jako je Qualcomm Cloud AI 100 Ultra, hrají klíčovou roli v provozu moderních AI modelů, umožňujíce efektivní a energeticky šetrné zpracování dat na okraji sítě (edge AI). Tyto akcelerátory, optimalizované pro zpracování velkých a řídkých matic, nabízejí výkonné řešení pro integraci umělé inteligence do různých zařízení od mobilních telefonů po servery. S vývojem a širokým nasazením těchto akcelerátorů se otevírá nová éra v AI výpočtech, kde výkon, energetická efektivita a schopnost škálování jdou ruku v ruce s rostoucími požadavky na zpracování AI modelů.
