Součást série o stavbě cz-agents → pod kapotou

Co po AML agentech chce rok 2026

Když si přečtete, co o umělé inteligenci v compliance píší letos regulátoři a odborné zdroje, jedno slovo se opakuje víc než ostatní: vysvětlitelnost. Anglicky explainable AI, zkratkou XAI. Ve světě boje proti praní špinavých peněz a prověřování klientů to znamená velmi konkrétní požadavek: nestačí, aby model vrátil skóre rizika. Musí být doložitelné, proč to skóre vzniklo — jaký řetěz úvah k němu vedl, z jakých zdrojů čerpal a kde v tom řetězu rozhodl člověk, ne stroj.

Ke stejnému bodu míří několik na první pohled oddělených požadavků. Za každým rozhodnutím agenta má být zaznamenaný postup — s jistotou, kterou model přisoudil, a s daty, o která se opřel. K nasazení má existovat dokumentace: pro jaké případy se agent smí použít a pro jaké ne (rozsah), jak je klasifikováno riziko, kdo za něj jmenovitě odpovídá, jaké testovací záznamy nástroj prošel, jaké má prahy jistoty, jaká záložní pravidla pro situace, kdy si není jistý, a co spustí lidskou revizi. A poslední slovo má mít člověk — analytik, který musí umět doložit, proč se něco označilo za podezřelé. V branži se pro tenhle nový obrys začíná používat i pojem „Know Your Agent" — tedy že napříště bude potřeba prověřovat nejen klienta, ale i toho softwarového agenta, který za vás rozhoduje.

Když to čtete jako provozovatel nástroje, přirozená první reakce je povzdech. Vypadá to jako hromada nové byrokracie, kterou bude nutné k hotovému produktu bolestně dodělávat. Chci ukázat, že pro jistý druh architektury to tak není — a proč.

Proč je černá skříňka v compliance problém

Představte si model, který dostane na vstupu firmu nebo osobu a na výstupu vrátí číslo: riziko 82 ze 100. Uvnitř je neprůhledná síť, ze které nevede ven žádné vysvětlení. Takový nástroj možná rozhoduje dobře. Ale nedokáže o svém rozhodnutí říct nic, co by obstálo před kontrolou.

A přesně to regulace odmítá. Compliance není soutěž v přesnosti; je to řemeslo, ve kterém musíte umět své rozhodnutí obhájit — před interním auditem, před dohledem, případně před soudem. „Vyšlo to tak" není obhajoba. Když analytik označí platbu nebo klienta za rizikového a jediné, co má v ruce, je skóre z černé skříňky, nemá čím doložit, že jednal na základě konkrétních faktů, a ne na základě neviditelné korelace, které sám nerozumí. Vysoké skóre bez doložitelného „proč" je v tomhle oboru spíš závazek než přednost.

Tady je jádro problému, který regulace pojmenovává: neprůhledný model umí dát odpověď, ale neumí dát důkaz. A v compliance je důkaz to, oč běží především.

Architektonický obrat: agent, který nerozhoduje, ale volá nástroje

Existuje ale způsob, jak agenta postavit tak, že se problém rozpustí sám od sebe. Nespočívá v tom, přidat k černé skříňce dodatečný modul na vysvětlování. Spočívá v tom, nepostavit černou skříňku vůbec.

Rozdíl je v tom, kde se odehrává rozhodování. V neprůhledném přístupu model všechno spolkne a všechno vyřeší uvnitř sebe. V přístupu, kterému se říká tool-based — agent postavený jako soubor nástrojů — model sám nerozhoduje o faktech. Místo toho volá nástroje: jeden zjistí zápis z rejstříku, druhý prověří sankční seznamy, třetí ověří insolvenci, čtvrtý dohledá vazby ve vlastnické struktuře. Každý nástroj má jasně vymezený vstup, jasně určený zdroj a jasně ohraničený výstup. Model je tu od toho, aby volání nástrojů poskládal a jejich výsledky převedl do srozumitelného závěru — ne aby si fakta domýšlel z paměti.

A teď to podstatné. Když agent pracuje takhle, řetěz úvah není nic jiného než posloupnost těch volání. „Proč jsi tuhle firmu označil za rizikovou?" má konkrétní odpověď: protože nástroj na sankce vrátil shodu z tohoto seznamu k tomuto datu, protože nástroj na vlastnickou strukturu našel tuhle vazbu na tuhle osobu, protože nástroj na insolvenci vrátil tento záznam. Nic z toho není rekonstrukce po činu. Je to prostě to, co se skutečně stalo, v pořadí, ve kterém se to stalo.

A protože každé volání nástroje je z podstaty věci zaznamenané — na co se ptalo, z jakého zdroje to čerpalo a kdy —, ta auditní stopa vzniká sama. Ne jako funkce, kterou někdo dopsal, aby vyhověl regulaci. Jako vedlejší produkt toho, že agent je poskládaný z ohraničených, dohledatelných kroků. Deterministicky, v lidské řeči, s uvedeným zdrojem u každého tvrzení.

Stojí za to zdůraznit, v čem je tohle jiné než dodatečné vysvětlování. U černé skříňky se vysvětlení dopočítává zpětně — model rozhodl a teprve pak se hledá pravděpodobný důvod, který k tomu rozhodnutí sedí. To je rekonstrukce, ne záznam, a rekonstrukce se může mýlit v tom, co se doopravdy odehrálo. U tool-based agenta se nic nedopočítává. Řetěz volání je to, co se stalo — ne příběh o tom sepsaný po činu, ale samotný postup krok za krokem. Ten rozdíl mezi „takto to nejspíš vzniklo" a „toto se stalo" je přesně to, oč v obhajobě rozhodnutí jde.

Kde v tom stojí člověk

Požadavek na to, aby poslední slovo měl člověk, do téhle architektury zapadá stejně přirozeně. Když nástroj jen předkládá důkaz — tady je shoda, tady je zdroj, tady je datum — a teprve na jeho základě rozhoduje analytik, jsou obě role oddělené už z návrhu. Stroj shromažďuje a předkládá; člověk váží a rozhoduje.

To není kompromis, ke kterému se člověk musí nutit kvůli regulaci. Je to zdravější dělba práce sama o sobě. Analytik, který dostane doložený řetěz — ne verdikt, ale podklady k verdiktu —, se rozhoduje líp než ten, kdo dostane holé skóre a musí mu věřit. Vysvětlitelnost neslouží jen kontrolorovi po činu; slouží především tomu člověku, který rozhoduje teď.

Proč to není práce navíc

Vraťme se k tomu seznamu požadavků, který na začátku vypadal jako hromada byrokracie: dokumentovaný rozsah použití, evidované zdroje dat, jistota u každého tvrzení, záložní pravidla, spouštěče lidské revize. Podívejme se, odkud se u tool-based agenta berou.

Nic z toho netvrdím jako hotovou práci — nasazení compliance nástroje je nikdy nekončící údržba a vždycky zbývá co dotáhnout. Tvrdím něco skromnějšího a přesnějšího: dobře navržená tool-based architektura mění tyhle požadavky z extra projektu na vedlejší produkt. Kdo naopak postavil agenta jako černou skříňku, dohání totéž zpětně a bolestně — musí k neprůhlednému jádru dodělávat vrstvu vysvětlení, která tam z podstaty nikdy nebyla, a doufat, že to obstojí.

Píšu to z praxe, ne z teorie. Provozuji due-diligence nástroje přesně tohoto typu — poskládané z ohraničených dotazů nad konkrétními zdroji —, a to, že za každou odpovědí je dohledatelný řetěz volání, nebyla reakce na regulaci. Byl to jediný způsob, jak takový nástroj vůbec smysluplně postavit a udržet v provozu.

Co si z toho beru

O umělé inteligenci se běžně říká, že předbíhá regulaci — že technologie letí a pravidla lapají po dechu. Tady je to jednou naopak. Regulace nepředbíhá technologii; dohání dobrou architekturu. To, co po AML agentech nově chce — vysvětlitelnost, doložitelný řetěz úvah, uvedené zdroje, člověka s posledním slovem —, není cizí nárok naroubovaný zvenčí. Je to popis toho, jak takový nástroj vypadá, když je postavený poctivě.

Střízlivě řečeno: neříkám, že kdo staví z nástrojů, má hotovo. Říkám, že správná volba architektury dělá z požadavku na compliance vedlejší produkt, a ne samostatný projekt, který se lepí zvenku k něčemu, co pro něj nebylo stavěné. Kdo nástroje na úrovni compliance stavěl od začátku jako soubor dohledatelných kroků, má ten řetěz úvah, po kterém teď regulace volá — protože jinak by ten nástroj ani nefungoval. A to je vzácná situace, kdy nové pravidlo neznamená víc práce, ale potvrzení, že ta předchozí práce byla odvedena správně.

Řešíte vysvětlitelnost a auditovatelnost AI ve vaší firmě? → AI konzultace