„Koupil jsem si Mac Mini,“ chlubí se kamarád. „Budu na něm provozovat lokální AI!“
Pokud zvažuješ něco podobného, tento článek ti možná ušetří desítky tisíc. Rozdíl mezi lokální a cloudovou AI totiž existuje – je dokonce obrovský. Ale je úplně jinde, než si většina lidí myslí.
„Vzdálené AI funguje krátce“
Kamarád to vysvětluje přibližně takhle: „Ty cloudové modely, ChatGPT a tak, fungují vždycky krátce. Krátká interakce. Kdežto když to budu mít u sebe, může mi to běžet dlouho. Na velké úlohy.“
Chvíli na něj zírám. Je to, jako by někdo řekl: „Voda z vodovodu teče jenom chvíli, ale voda z vlastní studny může téct celý den.“ Puštěnou vodu máš z obou tak dlouho, jak chceš. S umístěním serveru to nemá co dělat.
ChatGPT, Claude, Gemini – tyhle služby běží přesně tak dlouho, jak potřebuješ. Můžeš s nimi vést dvouhodinový rozhovor, nechat je zpracovat stostránkový dokument, nebo je nechat přes noc analyzovat data. Žádný limit „krátkosti“ neexistuje.
Lokální i vzdálený model fungují na totožném principu: pošleš požadavek, dostaneš odpověď. To je celé. Jediný rozdíl je, kam se tvůj počítač připojuje – jestli k serveru ve vedlejším pokoji, nebo k datacentru v Oregonu. Na délku ani kvalitu odpovědi to nemá žádný vliv.
„Ale bude mi to proklikávat weby!“
Dobře, argument s délkou neobstál. Kamarád tedy zkouší jinou obhajobu: „OK, ale já to hlavně chci na to, aby mi to proklikávalo weby a hledalo na nich chyby.“
Opět marně. Vzdálený model umí procházet weby úplně stejně jako lokální. Schopnosti AI závisí na modelu samotném a na nástrojích, které má k dispozici – ne na tom, kde fyzicky běží. Je to jako věřit, že email odeslaný z notebooku v obýváku dojde někam jinam než email z kanceláře. Stejný email, stejný výsledek, jen jiná židle pod zadkem.
Jádro celého nedorozumění je jednoduché: lidé si pletou kde model běží s tím, co umí.
Možná si říkáš: „Ale přece jen, mám to u sebe, nejsem závislý na cizím serveru.“ Fajn, to je legitimní úvaha. Ale to je úplně jiný argument než „poběží to furt“ nebo „bude to umět víc“. Nezávislost na poskytovateli je jedna věc – schopnosti modelu úplně jiná.
A nejde jen o toho kamaráda. Třeba Petr Ludwig nedávno napsal: „Nechal jsem svoji AI asistentku Lanu přečíst moje dvě knihy a teď jsem jí zadal poslechnout 200 dílů mého podcastu – do rána to prý zvládne. Funguje naprosto autonomně.“ Ten tón – ta magie kolem slova „autonomně“ – jako by lokální provoz odemykal něco, co cloud neumí. Přitom totéž zvládne jakýkoliv cloudový model – stačí mu předat data a zadat úkol.
Co běží na domácím hardware?
Na počítači s „lokální AI“ běží dvě odlišné věci:
Řídící program – přijme tvůj úkol, zavolá model, nechá ho rozložit na kroky, zpracuje výsledek, otevře prohlížeč, prokliká web. Právě tohle dělá třeba Claude Code nebo OpenClaw. Klíčová informace: řídící program nepotřebuje žádný speciální hardware. Běží na úplně obyčejném počítači. Klidně i na tom, co máš teď na stole.
Samotný model – to je ta výpočetně náročná část. Chceš, aby jazykový model běžel u tebe a generoval odpovědi? Teprve tady potřebuješ výkon – a teprve tady se nabízí otázka, jestli ti Mac Mini za desítky tisíc vůbec stojí za to.
Většina populárních „AI asistentů“, kvůli kterým si lidé kupují drahý hardware, ten model lokálně vůbec nepouští. Řídící program běží u tebe, ale na generování odpovědí volá cloudové API – ChatGPT, Claude, nebo jiný model. Takže se koupíš Mac Mini za padesát tisíc a odpovědi ti stejně generuje ten server v Oregonu.
Kdy lokální AI dává smysl
Nechci být nespravedlivý. Existují přesně tři legitimní důvody, proč chtít, aby ten model skutečně běžel u tebe:
Tvoje data nesmí opustit počítač. Pracuješ s citlivými firemními dokumenty, zdravotními záznamy, nebo materiály pod NDA? Pak je na místě, aby je zpracovával model běžící čistě u tebe. To je naprosto validní důvod – a v řadě firem i regulatorní nutnost.
Cenová optimalizace. Pokud AI používáš tak intenzivně, že se jednorázová investice do hardwaru vyplatí víc než měsíční předplatné, jdi do toho. Ale musíš si to opravdu spočítat. A počítat poctivě.
Chceš dělat věci, které ti cloud odmítne. Cloudové služby odmítnou zpracovat určité úlohy, odmítnou odpovědět na určité otázky. Lokální model nemá žádná taková omezení – dělá přesně to, co mu řekneš. Žádné „omlouvám se, ale toto nemohu“.
Je fér říct, že lokální modely se v poslední době hodně zlepšují. Na jednodušší úlohy – třeba základní kódování nebo běžnou práci s textem – už mohou být docela použitelné. A pak existují specializované malé modely na konkrétní úlohy, které dávají lokálně naprostý smysl. Třeba přepis mluveného slova na text – na to nepotřebuješ Mac Mini za padesát tisíc. To mi frčí na běžné NVIDIA grafické kartě s 12 GB paměti.
Ale na složitější práci pořád výrazně zaostávají za špičkovými cloudovými modely. Ty nejlepší modely běží na obrovských serverových farmách s výkonem, se kterým se žádný stolní počítač nemůže měřit. Kupuješ si slabší motor za vyšší cenu – jako bys platil za první třídu v letadle, které letí pomaleji.
Tak kolik to stojí?
Pojďme to rychle přeběhnout – ať víme, o čem se tu bavíme. Mac Mini s čipem M4 a maximálními 32 GB RAM: 29 tisíc. S M4 Pro a 48 GB: 54 tisíc. A pokud chceš 64 GB RAM, tedy maximum: 60 tisíc korun. (Ano, za stolní počítač bez monitoru, klávesnice a myši.)
Paměť je přitom klíčový parametr – a nejde jen o její velikost. Záleží i na tom, jak rychle dokáže komunikovat s procesorem. Procesor totiž většinu času čeká, než mu paměť pošle další kus dat pro model. Apple Silicon má díky sdílené paměti slušnou propustnost (kolem 273 GB/s u M4 Pro), což je důvod, proč se Mac Mini pro lokální AI vůbec doporučuje. Nové Ryzeny Strix Halo se sdílenou pamětí se mu v tomhle začínají blížit. Běžné PC s klasickou DDR5 pamětí má propustnost jen 75–100 GB/s – a to je na plynulou práci s většími modely málo.
A mimochodem – kolik textu model najednou „vidí“, takzvané kontextové okno, taky šíleně žere paměť. U většího modelu může kontext o 128 tisících tokenech spolknout klidně přes 18 GB. Takže do RAM se musí vejít celý model, jeho cache, operační systém, a pokud má ten Mac Mini ještě proklikávat weby, tak i prohlížeč se vším všudy.
S 32 GB rozjedeš jen prťavé modely. Se 64 GB už slušnější, ale pořád ne na úrovni, kterou asi očekáváš. Doporučil bych alespoň 128 GB a více, ale to už se bavíme o Mac Studio s cenovkou (hodně) nad 100 tisíc.
A dále – jazykový model, model na generování obrázků a model na rozpoznávání obrazu jsou tři různé modely. Každý zabírá místo v paměti. Nemůžeš je mít všechny najednou, takže je musíš prohazovat – nahrát jeden, pustit úlohu, vyhodit ho, nahrát další. V cloudu tohle řešit nemusíš.
Pro srovnání: platím Claude MAX za 90 eur měsíčně, což je asi 2 250 korun. Za rok 27 tisíc. Jinými slovy: za cenu Mac Mini s 64 GB (60 tisíc) bych měl přes dva roky přístupu k jednomu z nejsilnějších modelů na světě. Bez starostí s údržbou a bez kompromisů v kvalitě.
Jedna otázka místo padesáti tisíc
Pokud tě zajímá, jak reálně vypadá práce s AI na vlastním hardwaru, podívej se na přednášku o agentic codingu na GPU z ai4dev.cz nebo si přečti zkušenosti těch, co to zkusili.
Než utratíš desítky tisíc za hardware kvůli „lokální AI“, zkus si poctivě odpovědět: co přesně ti lokální model dá, co vzdálený ne? Odpověď není jednoduchá – ale právě proto stojí za to si ji rozmyslet dřív než po nákupu.
A kamarád? Ten má aspoň na stole designový kousek za padesát tisíc. To se taky počítá :-)
