Éra reasoning modelů: Jak funguje AI, která přemýšlí

Konečně je to tady! Už dva roky se těším, kdy přijde umělá inteligence, která nejen píše, ale skutečně přemýšlí. Éra reasoning modelů právě začíná a je to jeden z velkých pokroků v historii AI, který rozhodně nesmíte minout. V tomto článku se dozvíte vše o tom, jak tyto modely fungují a proč jsou tak přelomové.

Možná vás teď napadá: „Počkat, ale ChatGPT přece uvažoval od začátku, ne?“ A tady je ten háček. To, co většina lidí považovala za „uvažování“ u prvních chatbotů, bylo ve skutečnosti jen velmi sofistikované „reagování“. To, co teď přichází, je jako rozdíl mezi studentem, který odpoví na otázku z učebnice zpaměti, a tím, který si vezme papír, tužku a problém skutečně vyřeší.

Reasoning – tedy uvažování nebo přemýšlení – je slovo popisující nastupující generaci modelů jako o1 a o3-mini od OpenAI, DeepSeek-R1, Claude 3.7 Sonnet nebo Grok 3. Přistupují k problémům způsobem nápadně podobným lidskému uvažování. A dokáží řešit úlohy, které byly dříve pro AI téměř neřešitelné.

Rozdíl mezi reagováním a uvažováním

Přemýšlení je proces, při němž vědomě investujeme čas s jediným cílem – dobrat se co nejkvalitnější odpovědi (nebo vypadat dostatečně zaneprázdněně, aby nikdo nepoznal, že nemáte tušení, která bije). Když odpovídám bez rozmyslu, vlastně vůbec nepřemýšlím – jen vytahuji něco z paměti nebo spoléhám na intuici. A právě tady je ten rozdíl – běžné chatboty odpovídají okamžitě „z hlavy“, zatímco reasoning modely si dají na čas, projdou problém z různých úhlů, zkontrolují svoje mezikroky a teprve pak vám nabídnou výsledek svého uvažování. Je to jako rozdíl mezi člověkem, který vám okamžitě řekne svůj názor, a tím, který si sedne, zamyslí se, udělá si poznámky, ověří fakta, zváží různé argumenty, a teprve potom přijde s promyšlenou odpovědí.

Toto „přemýšlení“ není jen metafora – tyto modely skutečně generují tzv. „thinking tokens“ (slova tvořící myšlenky), které nejsou běžně viditelné v odpovědi, ale generují se ještě před napsáním finální odpovědi. Jde vlastně o zákulisní úvahy, které model provádí, než poskytne svůj výstup. Většina modelů nabízí možnost toto „přemýšlení“ zobrazit a nahlédnout tak do způsobu, jakým model dospěl ke své odpovědi.

Proč je uvažování tak důležité? Protože umožňuje modelům řešit komplexní problémy, ať už jde o složité matematické úlohy, logické hádanky a podobně.

Proč reasoning v AI přichází až teď

Uvažovací modely představují evoluční krok ve vývoji AI. Využívají stejných základních architektur jako běžné jazykové modely, ale byly specializovaně trénovány, aby věnovaly čas úvaze před odpovědí – něco, co by měla zkusit polovina lidí na sociálních sítích.

Zajímavé je, že podobného chování bylo možné dosáhnout i u předchozích modelů pomocí správného promptování. Možná jste sami používali techniky jako „Nejprve důkladně analyzuj problém a pak poskytni odpověď“, což je podobné, jako když učitel řekne žákovi: „Nepiš jen výsledek, ukaž mi postup.“ Tyto techniky fungovaly, ale vyžadovaly expertní znalosti a trpělivost.

Nové uvažovací modely mají tuto schopnost zabudovanou. Automaticky generují interní myšlenkové kroky a teprve poté poskytnou finální odpověď. V praxi to znamená, že model může generovat desetitisíce slov interního „myšlení“ jen proto, aby pak poskytl odpověď o několika větách. Zatímco běžný model by odpověděl téměř okamžitě (ale často méně přesně), uvažovací model si vezme čas na systematickou analýzu.

Proč reasoning přišel až teď? Především dřívější modely měly příliš omezenou kontextovou paměť – po třetí myšlence by zapomněly na první. Také před dvěma lety by bylo přemýšlení neúnosně drahé vzhledem k tehdejším nákladům na výpočetní výkon. K systematickému učení reasoningu byly navíc potřeba speciální datové sady a techniky, které vznikly až v posledních letech.

Jak se vlastně trénují reasoning modely

Trénování modelů se schopností „přemýšlet“ začíná technikou Chain-of-Thought (řetězec myšlenek), kde se AI učí nejen správné odpovědi, ale i explicitní myšlenkové postupy. Místo jednoduchých párů „otázka-odpověď“ se používají příklady, kde je detailně rozepsán celý postup řešení. Takže třeba sbírka matematických slovních úloh s podrobným řešením krok za krokem. Myslím si, že reasoning modelům významně pomohl i trénink na zdrojových kódech – programování totiž přirozeně vyžaduje systematické rozkládání problémů na dílčí části. Modely se také učí self-consistency (konzistenci sama se sebou) a self-critique (sebekritiku) – schopnost kontrolovat vlastní práci, hledat chyby a opravovat je. Tohle bych rád nainstaloval i sobě, když v jednu ráno klikám na „ještě jedna epizoda“ místo toho, abych šel spát.

Jakmile model zvládne generovat myšlenkové procesy, ty pak mohou sloužit jako trénovací data pro další modely – jde o efektivní přenos znalostí (OpenAI nedávno protestovala, že DeepSeek tímto způsobem těžil jejich data a tím porušoval podmínky služby – což je docela pikantní od společnosti, která bez dovolení vysála celý internet pro trénink vlastních modelů). Zásadní pokrok přinesl také Reinforcement Learning from AI Feedback, metoda, kdy silnější AI modely hodnotí kvalitu myšlenkových postupů svých menších protějšků, které se díky této zpětné vazbě postupně zdokonalují.

Reasoning v akci – pohled do mysli AI

Jak vlastně vypadá reasoning v praxi? Zkusme to na konkrétním příkladu. Položím modelu otázku, která vám možná zní jako vtip, ale je to opravdu seriózní logická hádanka:

Holič holí všechny muže ve městě, kteří se neholí sami. Kdo holí lékárníka?

Běžný chatbot by vystřelil okamžitou odpověď, možná s vágním náznakem postupu. Uvažovací modely ale pracují jinak: nejprve „přemýšlejí“, pak teprve odpovídají. DeepSeek s tímto paradoxem zápasil několik minut – psal si poznámky, procházel různé scénáře, analyzoval možnosti – a nakonec správně odhalil, že lékárník se musí holit sám! Dokážete to odhalit i vy? Nebo aspoň najít toho lékárníka, protože v mém městě už jsou jen samé Benu a Dr. Max.

Celý fascinující myšlenkový proces modelu si můžete prohlédnout, čte se to jako detektivka psaná někým s ADHD:

Dobře, potřebuji zjistit, kdo holí lékárníka v tomto městě, kde holič holí všechny muže, kteří se neholí sami. Hmm. Začnu rozebráním problému.

Za prvé, holič je definován jako někdo, kdo holí všechny muže ve městě, kteří se sami neholí. Takže pokud se muž neholí sám, holí ho holič. Naopak, pokud se muž holí sám, pak ho holič neholí. To dává smysl.

Nyní je otázka: kdo holí lékárníka? Abych odpověděl, musím určit, zda se lékárník holí sám či nikoliv. Protože pokud ano, holič ho neholí. Pokud ne, pak ho holič musí holit. Ale počkat, tohle vypadá jako klasický paradox, podobný Holičskému paradoxu, který formuloval Russell. Připomenu si tento paradox.

… a kilometr dalšího textu …

Vidíte, jak model systematicky rozebírá problém, zkouší různé přístupy a nakonec dospívá k řešení.

Zajímavou vlastností některých reasoning modelů je možnost nastavit úroveň „přemýšlení“. Například OpenAI v ChatGPT nabízí modely o3-mini a o3-mini-high, které se liší v tom, kolik času do přemýšlení investuje.

Silné stránky přemýšlejících modelů

Spolehlivější odpovědi: Zejména u složitých úloh jako matematika, programování nebo logické problémy. Dokáží řešit problémy, které vyžadují vícekrokové uvažování.
Snadné použití: Nemusíte být prompt inženýr, abyste dostali kvalitní výsledky – modely přemýšlejí samy od sebe, bez nutnosti jim to složitě vysvětlovat v zadání.
Sebeopravování: Modely dokážou odhalit a opravit vlastní chyby během svého procesu přemýšlení.

A slabé stránky

Delší doba odezvy: „Přemýšlení“ zabere čas – odpovědi mohou trvat i několikanásobně déle než u běžných modelů, něco jako když se zeptáte zamyšleného programátora, co chce k večeři.
Vyšší náklady: Více myšlenkových kroků znamená vyšší spotřebu výpočetních zdrojů a tím i vyšší cenu za dotaz – asi jako mít partnera, který se neustále rozhoduje, jestli jít do kina nebo do restaurace, zatímco taxametr běží.
Spotřeba kontextového okna: Interní myšlenkový proces zabírá místo v kontextovém okně modelu, což může být limitující faktor u složitých úloh.
Odlišné výstupy: Například modely o1 a o3 od OpenAI píší výrazně horší kreativní texty než jejich protějšky GPT-4o – trochu jako když váš kamarád matematik zkusí napsat milostný dopis. A nebo já.

I uvažovací modely dělají směšné chyby

Rozsáhlý myšlenkový proces nezaručuje správnost. I uvažovací modely dělají chyby, jen působí přesvědčivěji díky detailnímu „přemýšlení“.

Nedávno jsem při práci s modelem o3-mini pozoroval, jak selhal u základní matematické úlohy vyžadující pochopení trojčlenky. Model nedokázal správně vyhodnotit, že když zmenšíme měrnou jednotku (např. z metrů na centimetry), naměříme u stejného objektu více jednotek, nikoliv méně.I přes několik pokusů o upozornění na chybu zůstával model u své nesprávné logiky. I když model pečlivě „uvažuje“, vždy kriticky zhodnoťte jeho odpovědi. Nezapomeňte, že nerozumí fyzikálním či matematickým konceptům na skutečně intuitivní úrovni, pouze napodobuje vzorce myšlení.

Právě proto je důležitá možnost nahlížet do řetězce myšlenek modelu. Když vidíme, jak model uvažuje, můžeme lépe identifikovat, kde se případně zmýlil. Je tedy problematické, že OpenAI neumožňuje transparentní přístup k celému myšlenkovému procesu – ukazuje pouze jeho shrnutí.

Kdo je kdo ve světě reasoning modelů

OpenAI: o1, o3 a o3-mini v ChatGPT

OpenAI představila řadu modelů označenou písmenem „o“, která je specializovaná na reasoning. Tedy o1, o3, o3-mini; ale nikoliv GPT-4o (jejich systém pojmenovávání zjevně vymýšlel někdo, kdo si před tím dal dvojitou dávku absinthu).

o1 pro je nejvýkonnější model v této řadě, něco jako Ferrari mezi AI a odpovídající cenou paliva
o3-mini je dostupnější varianta s limitem až 50 dotazů denně v ChatGPT
o3-mini-high nabízí hlubší uvažování za cenu přísnějších limitů na počet dotazů

Nevýhodou je neprůhledný myšlenkový proces – OpenAI skrývá detailní „myšlení“ modelu (to co ve skutečnosti vidíte je jen shrnutí toho, o čem model přemýšlí).

Anthropic: Claude 3.7 Sonnet

Claude 3.7 Sonnet je první model od Anthropicu s režimem rozšířeného myšlení, který lze zapnout nebo vypnout v nabídce volbou Extended. Ale mám pocit, že režim myšlení zatím nedosahuje kvalit konkurence.

DeepSeek: DeepSeek-R1

Tento čínský model představuje alternativu s plně transparentním myšlenkovým procesem. Jejich model DeepSeek-R1 byl trénován primárně pomocí reinforcement learningu (posilovaného učení), což je unikátní přístup. Zapíná se tlačítkem DeepThink. Je zcela zdarma, ale posíláte data do Číny, takže si dobře rozmyslete, jestli chcete, aby si čínské tajné služby vedly složku o vašich pokusech opravit kapající kohoutek v koupelně.

xAI: Grok 3

Společnost Elona Muska, xAI, také vstoupila do hry se svým modelem Grok 3, kde lze přemýšlecí režim zapnout tlačítkem Think. Dostupný je v rámci předplatného X Premium (Twitter), ale posíláte data Elonu Muskovi, takže si dobře rozmyslete, jestli chcete, aby Tesla, co vás veze, věděla, že jste se včera Groku svěřovali, že elektromobily jsou nesmysl.

Copilot Think Deeper

Microsoft Copilot nabízí uživatelům zdarma schopnosti modelu o1 od OpenAI.

Kdy použít myslící AI

Uvažovací modely excelují v situacích, kde je nutné systematické a hloubkové promyšlení problému:

Řešení logických a matematických hádanek – když potřebujete vyřešit, jak rozdělit účet v restauraci mezi osm lidí, z nichž tři měli předkrm, dva dezert a jeden neměl pití.
Analýza dat a vyhledávání vzorců – máte tabulku prodejních dat a chcete najít skryté vzorce nebo anomálie
Odhalování souvislostí mezi dokumenty – reasoning modely vynikají v propojování informací z různých zdrojů
Zpracování komplexních vizuálních informací – zejména u modelů jako o1 od OpenAI
Kontrola a ladění kódu – když potřebujete najít chybu v kódu, která způsobuje, že váš web vypadá skvěle v Chrome, ale v Safari připomíná dílo moderního umění

Kdy použít klasické modely

Kdy reasoning modely nejsou potřeba?

Jednoduché faktické dotazy – na otázky typu „Jaké je hlavní město Francie?“ je reasoning model zbytečný, asi jako použít bagr k otevření konzervy.
Běžná konverzace a asistence – pro návrhy jídel nebo jednoduché rady je čekání na odpověď frustrující, jako když se ptáte hipstera, co chce k obědu, a ono začne filozofovat o etických aspektech konzumace zvířat.
Kreativní psaní a umělecké projekty – paradoxně reasoning modely často produkují méně kvalitní kreativní obsah, jako by příliš mnoho přemýšlení zabíjelo kreativitu.

Do budoucna bude přemýšlení zcela standardní součástí všech jazykových AI modelů. Samy si vyhodnotí, kdy stačí rychlá odpověď a kdy je potřeba se nad problémem zamyslet – vlastně úplně stejně, jako to děláme my lidé. S výjimkou sobotního rána, samozřejmě.