Součást série o stavbě cz-agents → pod kapotou
Titulek, který u mě neplatí
Kolem oznámení Cloudflare se během pár dnů usadila zkratka: „od 15. září se AI crawleři blokují“. Zní to jako věta, po které má člověk sáhnout do nastavení. Když jsem si ale prošel, co ta změna doopravdy říká, zjistil jsem, že se mě fakticky netýká — a že velká část rad, které kolem toho kolují, míří vedle.
Změna má dvě části a plete se hlavně ta druhá. První část: Cloudflare přestává mluvit o „AI botech“ jako o jednom druhu a rozděluje je na tři kategorie — Search, Agent a Training. Druhá část: od 15. září 2026 budou na nově zařazených doménách a u všech stávajících zákazníků ve free tarifu kategorie Training a Agent blokované ve výchozím stavu — ale jen na stránkách, které zobrazují reklamu. Search zůstává povolený všude. Kdo nové výchozí nastavení nechce, může se z nich do 15. září odhlásit v nastavení bezpečnosti.
V té podmínce s reklamou je celý vtip a v titulcích chybí. Logika je srozumitelná: pokud vaše stránka žije z toho, že ji čte člověk a vidí u toho reklamu, pak bot, který obsah přečte a čtenáře k vám nepošle, vám bere obživu. Pokud reklamu nemáte, tenhle konflikt zájmů prostě nevzniká — a výchozí blokace na vás nedopadne. Můj blog ani hub s MCP servery reklamu nemají. Takže první ověřená věc: pro mě je to nulová událost, kterou stejně musím projít, protože ta první část oznámení je důležitá i beze změny výchozích nastavení.
„AI bot“ se právě rozpadl na tři různá zvířata
Skutečná novinka není blokace. Je to ten rozklad kategorií — protože každá z těch tří má úplně jinou ekonomiku a pro provozovatele webu z nich plynou úplně jiná rozhodnutí.
Search je bot, který si obsah přečte, aby vás mohl citovat a odkázat. To je nová podoba téhož, co dělaly vyhledávače dvě dekády. Když vás asistent zmíní jako zdroj, přijde vám návštěva, nebo alespoň zmínka jména. Blokovat ho znamená zmizet z místa, kde si lidé čím dál častěji hledají odpovědi.
Training je bot, který si obsah odnese do trénovací sady. Tady je výměna nejméně vyrovnaná: model se z vašeho textu naučí, vy se nikdy nedozvíte, že se to stalo, a zpětná vazba je nulová. Tohle je jediná kategorie, u které dává smysl skutečně zvažovat, zda ji pustit dál.
Agent je bot, který na váš web nebo na vaše rozhraní sáhne proto, že ho o to právě teď požádal člověk. Někdo pokládá svému asistentovi otázku a asistent jde načíst data, aby na ni mohl odpovědět. To není crawler. To je uživatel, který jen přišel jiným vchodem.
Kdo tyhle tři hází do jednoho pytle — a většina rad na internetu je hází — nemá jak dojít ke správnému rozhodnutí. Věta „zablokuj AI boty“ dává v každé z těch tří kategorií jiný, a ve dvou případech přímo sebepoškozující výsledek.
Proč je „Agent“ pro mě to nejcennější, co může přijít
Provozuji osm veřejných MCP serverů. MCP je protokol, kterým se AI asistent připojí k datům a nástrojům někoho jiného — tedy k mým. Když si někdo připojí můj server, jeho asistent se pak sám ptá mého rozhraní na věci, které jeho člověk potřebuje. A ten dotaz na mé straně vypadá — jak jinak — jako bot.
To je ta kontraintuitivní část. Kategorie Agent je u mě přesně ta množina požadavků, k jejichž obsluze celý produkt existuje. Zablokovat ji by nebyla obrana. Bylo by to zamčení krámu zevnitř s cedulí „nerušit“ na dveřích. Nic jiného by se nestalo: člověk na druhém konci by dostal chybu, přičetl by ji nástroji a šel jinam.
A tady je ta past, kvůli které tenhle článek píšu. Rada „blokuj AI boty“ se v posledním roce stala automatickou. Zní bezpečně, zní zodpovědně, a nikdo se u ní neptá, co konkrétně blokuje. Přitom se v provozních logech dá rozeznat, že to jsou tři různé věci — jen to chce ta rozhraní chvíli sledovat. Když jsem si svůj provoz roztřídil sám, ukázalo se, že drtivá většina toho, co vypadá jako „boti“, jsou indexovací crawlery katalogů a různé prověřovací sondy: kontrola dostupnosti, ověřování, jestli server odpovídá, mapování nabídky do adresářů. Užitečné, neškodné, ale nejsou to zákazníci. A pak je tam ta malá, cenná menšina, kde na druhém konci sedí opravdový člověk s otázkou. Právě tuhle menšinu by paušální blokace zabila jako první, protože vypadá úplně stejně jako všechno ostatní.
Obecně řečeno: pokud vaše firma nabízí jakékoli strojově čitelné rozhraní — nejen MCP, ale i běžné API, ceník ve strukturované podobě, dostupnost, katalog — pak vaši zákazníci budou stále častěji přicházet přes agenta. Blokace kategorie Agent je pak zavření prodejního kanálu ve chvíli, kdy zrovna začíná růst.
Moje rozhodovací tabulka
Tady je, jak si ty tři kategorie překládám do vlastního zájmu. Není to univerzální doporučení — je to můj verdikt pro moje weby, a hlavní hodnota je v tom, jak se k němu dá dojít.
| Kategorie | Co dělá | Můj zájem | Verdikt |
|---|---|---|---|
| Search | Přečte a cituje, přivede pozornost | Chci | Otevřeno. Být citovaný je dnes distribuční kanál sám o sobě. |
| Agent | Načte data pro živého uživatele, který se právě ptá | Chci nejvíc | Otevřeno, a to důrazně. Tohle jsou zákazníci. |
| Training | Odnese obsah do trénovací sady | Vážím | Blog otevřený, produktová rozhraní ne. Viz níže. |
U blogu je rozhodnutí snadné, i když na první pohled vypadá naivně. Texty tady píšu proto, aby mě někdo našel, když řeší podobný problém. Dnes se čím dál větší část těch lidí neptá vyhledávače, ale asistenta — a ten cituje z toho, co četl. Zavřít se před Trainingem znamená u odborného textu vyměnit hypotetickou ochranu za jistou neviditelnost. To je pro mě špatný obchod. Kdybych provozoval zpravodajský web financovaný reklamou, počítal bych úplně jinak — a proto ta výjimka pro reklamní stránky v nové politice dává smysl.
U produktových rozhraní je to obráceně. Data, která poskytují, nejsou články: je to strukturovaný výstup, který má hodnotu v okamžiku dotazu, ne jako materiál k učení. Tam mě zajímá, aby dotaz obsloužil živý uživatel na druhém konci, a nezajímá mě, aby si někdo stáhl celý výstup do dávky. Nástrojem k tomu nakonec není blokace bota, ale obyčejné limity požadavků a autentizace u placených částí. Ty fungují bez ohledu na to, jak se bot tváří — a to je jejich hlavní přednost.
Co mám dnes reálně nastavené
Když píšu o cizí politice, patří se říct, jak na tom jsem sám. Ověřoval jsem to dnes, ne z paměti.
Můj osobní web včetně tohoto blogu i hub s MCP servery běží za Cloudflare. Ani jeden z nich nezobrazuje reklamu, takže nová výchozí blokace nedopadá ani na jeden — což jsem si musel potvrdit, protože kdybych jen četl titulky, sáhl bych do nastavení zbytečně.
A málem jsem si to ověřil špatně, což stojí za přiznání, protože je to přesně ta chyba, před kterou tenhle text varuje. Z domácí sítě mi vlastní DNS přesměrovává doménu na server v obýváku. Když jsem si tedy blog zkusil zavolat, odpověděl mi holý Apache bez jediné stopy po Cloudflare — a já z toho na okamžik usoudil, že web za Cloudflare vůbec není. Byl. Jen jsem se ho ptal z místa, odkud ho nikdo jiný nevidí. Kdo si ověřuje vlastní nastavení, musí se ptát zvenčí; jinak si potvrdí jen to, jak jeho web vypadá z jeho vlastního gauče. Soubor robots.txt na blogu je dnes prostý Allow: / bez jediné direktivy zaměřené na AI. Nechávám ho tak. Cokoli jiného by v mém případě bylo řešení problému, který nemám.
Jedna novinka mě ale zajímá i bez ohledu na defaulty: v robots.txt lze nově vyjádřit preferenci k užití obsahu ve třech úrovních — immediate (použij teď, odpověz z toho), reference (cituj a odkaž) a full (dělej si, co chceš, včetně tréninku). Je to posun od „smíš, nebo nesmíš vstoupit“ k „za jakých podmínek s tím smíš pracovat“. Nezavazuje to nikoho víc než dosavadní robots.txt, tedy je to vyjádření vůle, ne technické vynucení. Ale je to první rozumný jazyk pro to, co většina autorů odborných textů opravdu chce říct: čti, cituj, odkaž — a netvař se, že je to tvoje.
Pay Per Use: hezká věta, zatím ne příjem
Druhá polovina oznámení mluví o penězích. Model Pay Per Crawl, tedy platba za stažení, se vyvíjí v Pay Per Use: platí se ve chvíli, kdy obsah vytvoří hodnotu, ne když ho bot jen stáhne. Jako první partneři jsou zmínění Ceramic.ai a You.com.
Posun dává intelektuálně smysl. Účtovat za stažení odměňuje objem, což je špatná pobídka pro obě strany; účtovat za užití odměňuje relevanci. Jenže vezmu-li si vlastní čísla, musím být střízlivý: jsem malý vydavatel s desítkami čtenářů týdně. Kdyby zítra začalo být za každé užití mého textu placeno, mluvíme o částce, která nezaplatí ani hosting. Pay Per Use je pro mě zatím teorie, ne příjem, a bylo by nepoctivé to zabalit do slova revoluce.
Co s tím tedy dělám? Beru to jako signál směru, ne jako plán. Až se ukáže, že se přes něco takového dá reálně inkasovat, budu potřebovat mít v pořádku dvě věci: vědět, kdo mě čte a v jaké kategorii, a mít obsah, který za užití vůbec stojí. Obojí je práce, kterou má cenu dělat i v případě, že z Pay Per Use nikdy nic nekápne. To je pro mě dobré vodítko obecně: investujte jen do těch příprav, které se vyplatí i tehdy, když slibovaná budoucnost nepřijde.
Co si z toho beru
Za tou zprávou se skrývá posun, který je větší než nastavení jednoho přepínače. Dvacet let jsme třídili provoz na „lidi“ a „boty“ a to dělení dávalo smysl, protože bot nic nekupoval. Teď existuje třetí kategorie — návštěvník, který je technicky bot a ekonomicky člověk, protože jedná z jeho pověření a v jeho zájmu. Nástroje, které máme, s tím zatím neumějí zacházet a naše návyky ještě míň.
Praktický závěr je proto nudný, ale platí: než sáhnete po blokaci, podívejte se, co vlastně blokujete. Podívejte se do vlastních logů, roztřiďte si ten provoz na crawlery, sondy a skutečné dotazy živých lidí, a teprve pak rozhodujte. Trvá to jedno odpoledne. Pokud vám z toho vyjde, že vás AI boti jen vysávají, zavřete jim dveře s klidným svědomím a budete mít pravdu. Pokud vám z toho vyjde, že část z nich jsou vaši zákazníci v novém obleku, ušetřili jste si sebevraždu provedenou s pocitem dobře odvedené práce. To je ta nejdražší chyba, jakou tady jde udělat: obrana proti něčemu, co je ve skutečnosti poptávka.
Řešíte podobné rozhodnutí ve vaší firmě? → AI konzultace