HBM je zkratka pro anglický termín „High Bandwidth Memory“, což v překladu znamená paměť s vysokou datovou propustností. Jedná se o typ operační paměti RAM, která je navržena tak, aby dokázala procesoru, nejčastěji grafickému čipu (GPU) v AI akcelerátoru, dodávat data mnohem rychleji než standardní paměťové moduly. Klíčem je její architektura, kdy je několik paměťových čipů vrstveno vertikálně na sebe a s procesorem jsou propojeny velmi širokou komunikační sběrnicí. Tato konstrukce výrazně zvyšuje právě datovou propustnost, tedy množství dat, které lze přenést za určitý čas. Pro úlohy umělé inteligence, které pracují s obrovskými objemy dat a rozsáhlými modely, je rychlý přístup k datům zásadní. Díky HBM nemusí výkonný výpočetní čip čekat na data z pomalejší paměti, což umožňuje jeho plné využití a zrychluje procesy, jako je trénování neuronových sítí. Pro představu o rozdílu oproti běžné herní grafice je užitečné porovnání s pamětí GDDR (Graphics Double Data Rate), například GDDR6 nebo GDDR7. GDDR jsou samostatné čipy umístěné na desce kolem grafického jádra a spoléhají na velmi vysoké taktovací frekvence při relativně úzké sběrnici (typicky 32 bitů na čip). HBM jde opačnou cestou. Pracuje na nižších frekvencích, ale díky vertikálnímu vrstvení čipů a extrémně široké sběrnici (1024 bitů a více na stack) přenese více dat najednou. Výsledkem je u HBM výrazně vyšší celková datová propustnost a lepší poměr výkonu na watt, což je klíčové pro datová centra a trénování AI. GDDR je naproti tomu levnější, snáze vyrobitelná a snadněji se u ní navyšuje kapacita, a proto převažuje u herních a spotřebních grafických karet.
