Paradox, který jsem si sám vyrobil

Měl jsem pro své AI napsaný takový osobní operační manuál — dokument, který modelu na začátku každé práce říká, jak má uvažovat. Ne co má udělat, to se mění úkol od úkolu, ale jak k tomu má přistoupit: rozděl problém na kontrolovatelné části, ověřuj tam, kde je chyba nejdražší, odděluj to, co víš, od toho, co jen tušíš.

Byl jsem na ten dokument docela hrdý. Vznikal měsíce, každá sekce reagovala na nějaký konkrétní přešlap, který jsem u modelu zažil. A byla v něm mimo jiné pasáž, kde měl model po dopsání odpovědi napadnout vlastní závěr — hledat, v čem by mohl být špatně, než mi ho vůbec ukáže. A na úplném konci ještě krátký sebekontrolní rituál: než pošleš odpověď, projdi tenhle seznam otázek a ujisti se, že jsi na nic nezapomněl.

Znělo to rozumně. Víc pečlivosti přece nemůže uškodit. A přesně tady jsem se mýlil. Ukázalo se, že jsem těmi instrukcemi udělal výstup modelu horší, ne lepší. Dal jsem AI víc pravidel o tom, jak být důkladná — a zaplatil za to nižší kvalitou a spálenými výpočty. To je celý ten paradox a chvíli mi trvalo, než jsem ho přijal.

Proč ty instrukce dávaly smysl

Nechci vypadat, že jsem tam ty pasáže napsal z hlouposti. V době, kdy vznikaly, dávaly dobrý smysl — a u slabších nebo starších modelů dávají smysl dodnes.

Starší generace jazykových modelů měly sklon vyprodukovat plynulý, sebejistý text a odevzdat ho bez jediného ohlédnutí. Chyba v mezivýpočtu se tak dostala až do závěru, protože ji po cestě nikdo nezastavil. Když jsem takovému modelu explicitně nařídil „teď se zastav, vrať se a zkus svůj závěr rozbít", často jednu chybu skutečně chytil. Nutil jsem ho k druhému pohledu, který by sám od sebe neudělal.

Ten závěrečný rituál fungoval podobně jako odškrtávací seznam u pilota nebo chirurga: ne proto, že by odborník nevěděl, co dělá, ale proto, že rutinní přehlédnutí se stane každému a strukturovaná kontrola ho zachytí. U modelu, který si sám od sebe po práci neuklidí, je vynucený závěrečný průchod levná pojistka.

Napsal jsem tedy návod pro nástroj, který jsem znal. Problém je, že se nástroj mezitím vyměnil.

Co změnila nová generace

Před pár týdny vydal Anthropic novou generaci svých modelů a k ní návod, jak je nejlépe promptovat. Otevřel jsem ho s očekáváním, že si přečtu, jak svůj manuál ještě vypilovat. Místo toho jsem tam našel doporučení, které šlo přesně proti tomu, co jsem měl napsané.

Anthropic v návodu k modelu Opus 5 radí explicitní verifikační instrukce odstranit. Doslova zmiňuje pokyny typu „zkontroluj si to dvakrát", „přidej verifikační krok" nebo „nech si výsledek ověřit jiným agentem" — a říká, že u nové generace vedou k over-verification: model se přeověřuje, pálí výpočetní kapacitu navíc a kvalita se přitom nezvedne. Ta pasáž mě zastavila, protože popisovala přesně to, co jsem měl v manuálu.

Důvod je v tom, že se nová generace ověřuje sama, bez vyzvání. Znovu si čte, co napsala. Kontroluje si aritmetiku. Sama hledá hraniční případy, na kterých se řešení láme. To všechno dělá jako součást své běžné práce. Když k tomu ještě přidám vlastní instrukci „ověřuj", nesečte se to v lepší výsledek — sečte se to do dvojí kontroly, kde ta moje jen překáží té modelové.

Nejpřesvědčivější důkaz nedodal článek, ale sám výrobce svým činem. Anthropic u nové generace odstranil přes 80 procent systémového promptu svého vlastního nástroje pro programování — a na testech kvality kódu se neprojevila měřitelná ztráta. Kdo staví model, zahodil čtyři pětiny instrukcí, které mu sám dřív dával, a nic se nerozbilo. To není názor z fóra, to je rozhodnutí toho, kdo ten stroj postavil.

Rozhodnutí: smazat

Vzal jsem to vážně a ty dvě pasáže — sekci o napadání vlastního závěru i závěrečný sebekontrolní rituál — jsem z manuálu smazal.

Chci být přesný v tom, proč. Nesmazal jsem je proto, že bych najednou uvěřil, že sebekontrola je zbytečná. Smazal jsem je proto, že to tvrdí ten, kdo model staví, a protože to při domyšlení dává smysl. Rozdíl mezi „věřím tomu" a „odpovídá to tomu, jak ta věc funguje" je pro mě podstatný — první je dojem, druhé je důvod. Tady jsem měl důvod.

Je v tom kontraintuitivní lekce, kterou si člověk musí prožít, aby jí uvěřil: víc promptování udělá lepší model horším. U slabšího nástroje instrukce navíc doplňuje mezeru. U silnějšího nástroje ta mezera není a instrukce jen zabírá místo, tříští pozornost a nutí model dělat práci, kterou by udělal líp sám. Přidávání pravidel se tváří jako péče, ale ve skutečnosti je to nedůvěra — a ta nedůvěra jde na úkor kvality.

Abych nebyl nepoctivý: „smazat" neznamená „smazat všechno". Sám Anthropic v témže návodu radí, co si ponechat — konkrétní akceptační kritéria, deterministické testy, kontrolu zdrojů a u důležitých věcí lidskou revizi. A dodává, jak s tím zacházet: verifikaci nepsat natvrdo do trvalých instrukcí, ale přesunout ji do postupů, které se vyvolají jen tam, kde jsou zrovna potřeba. Rozdíl je jemný, ale zásadní. Nemažu pojistky proto, že bych je zavrhl. Mažu obecný příkaz „buď pečlivá", který si dobrý model plní sám, a nechávám konkrétní kontrolu na konkrétním místě, kde má co přidat.

Co jsem nesmazal a proč

Tady se to celé láme, protože jsem nesmazal všechno. Jednu jedinou část jsem nechal schválně, a je to podle mě nejdůležitější věc z celého tohohle textu.

Nechal jsem sekci o epistemickém značkování — o tom, že model má u každého tvrzení dát najevo, jestli je ověřené (tohle jsem si tady a teď zkontroloval), domnělé (tohle mám z paměti, nejspíš to platí, ale mohlo se to změnit), nebo hádané (tohle jsem si domyslel, abych zaplnil mezeru). A že ten rozdíl má napsat nahlas, ne si ho nechat v hlavě.

Proč zrovna tuhle? Protože chytá úplně jinou třídu chyby než sebekontrola modelu. Když si model po sobě čte a hledá chyby, hledá chyby v uvažování: špatně sečtené číslo, přehlédnutý hraniční případ, krok, který nevyplývá z předchozího. To umí a v tom mu opravdu nemám co radit.

Co tím ale nechytí, je jiný druh omylu: tvrzení o vnějším faktu, které si model vytáhne z paměti a vydá za jistotu. Číslo verze knihovny. Parametr rozhraní. Cenu. Datum události. Znění nějakého pravidla. Tyhle věci znějí naprosto sebejistě a vnitřně jsou zcela konzistentní — model si je nemá jak vyvrátit vlastní kontrolou, protože z jeho pohledu žádná chyba v uvažování není. Chyba není v tom, jak myslí, ale v tom, že si plete „pamatuju si to" s „ověřil jsem to". A to žádné znovupřečtení vlastního textu nenajde.

Jediné, co tuhle chybu chytí, je právě to značkování. Když model musí u každého faktu říct „tohle jen tuším z paměti, ověř to", dostanu varování přesně tam, kde bych jinak sebejistou větu přijal jako pravdu. Sebekontrola modelu tuhle vrstvu neřeší, protože není o uvažování — je o poctivém přiznání, co je vědění a co domněnka.

Rozdíl mezi tím, co jsem smazal, a tím, co jsem nechal, se dá shrnout do jedné věty: ceremoniál pryč, epistemická poctivost zůstává. Rituál na konci každé odpovědi se s vlastní kontrolou modelu jen zbytečně sčítal. Značkování ověřeného a domnělého řeší chybu, kterou model sám u sebe nevidí — a proto ho žádné vylepšení modelu nenahradí.

Co si z toho beru

Nejužitečnější poučení není o žádném konkrétním modelu, protože ta konkrétní čísla za rok neplatí. Je o tom, jak přemýšlet nad řízením AI vůbec.

Prompt engineering se často chápe jako přidávání: víc pravidel, víc příkladů, víc pojistek, delší a delší instrukce. U slabšího nástroje to i funguje. Ale s tím, jak se nástroj zlepšuje, se ta rovnice obrací a víc instrukcí začíná být spíše na škodu než k užitku. Umění není napsat co nejúplnější návod. Umění je vědět, co odebrat — které pokyny už jen překážejí schopnosti, kterou model dávno má.

A zároveň — a tohle je ta těžší půlka — vědět, co je nenahraditelné. Ne všechno, co vypadá jako „instrukce o pečlivosti navíc", je totéž. Většina takových pokynů u dobrého modelu opravdu jen zdržuje. Ale některé řeší chybu, kterou model u sebe principiálně nevidí, protože leží mimo jeho vlastní kontrolu. Ty se smazat nesmí, i když navenek vypadají stejně nadbytečně jako ty ostatní.

Rozeznat obojí od sebe není práce na jedno odpoledne s návodem. Je to práce, která vyžaduje rozumět tomu, kde má nástroj sílu a kde slepé místo — a to se nedá opsat, to se musí pochopit. Přesně tenhle druh rozhodování je to, co z „máme přístup k AI" dělá „máme z AI užitek". A je to taky přesně to, kolem čeho se točí práce, kterou dělám pro firmy: ne zapnout model, ale vědět, co mu říct a co už ne.

Řešíte podobné rozhodnutí u sebe ve firmě? → AI konzultace