Mýty vs realita: Kvalita AI agentů – model vs data

Kontext a vymezení

Proč se mýtus „kvalita je hlavně o modelu“ drží tak dlouho? Protože první zkušenost s LLM je typicky offline a bez rizika. Položíš otázku, dostaneš odpověď, a když je odpověď lepší u modelu A než u modelu B, vznikne závěr: stačí model A. Jenže agent není chat. Agent je systém, který má cíle, provádí kroky, pracuje s nástroji, mění stav v systémech a má dopad. V tu chvíli se kvalita skládá z více vrstev, a model je jen jedna z nich.

V produkci se kvalita agentů nejčastěji rozpadá takto: agent zní rozumně, ale rozhoduje na základě nekompletního kontextu. Nebo má kontext, ale je nekonzistentní. Nebo má správná data, ale špatně je interpretuje, protože chybí definice pojmů. Nebo ví, co by měl udělat, ale integrace nefungují, takže provede náhradní kroky a systém se rozjede do chaosu. To nejsou modelové problémy. To jsou datové a systémové problémy.

Praktické vymezení: kvalita agenta je kombinace čtyř věcí. (1) kvalita modelu, (2) kvalita dat a kontextu,n (3) kvalita rozhodovacího a kontrolního rámce (policy, validace, eskalace), (4) kvalita provozu (monitoring, incidenty, změny). V mnoha firmách se investuje do bodu (1) a zanedbají se body (2) až (4). Výsledek je frustrace: „máme dobrý model a stejně to nefunguje“.

Cíl článku je ukázat, že nejrychlejší cesta k lepším agentům často není model upgrade,n ale datová disciplína: jasný source of truth, integrace, metadatové vrstvy, auditní stopa a kvalitní RAG. A hlavně: metriky, které oddělí problém modelu od problému dat. firemní data a AI.

Strategie a rozhodování

Strategicky chce vedení jednoduchý příběh: koupíme lepší model a máme hotovo. Tenhle příběh je lákavý, protože je rychlý,n snadno se rozpočtuje a dobře se prezentuje. Jenže ve firmě se AI agenti chovají jako nový digitální tým. A digitální tým bez přístupu k systémům pravdy, bez standardů a bez procesu řízení změn bude dělat chyby, i kdyby byl složený z top lidí.

Rozhodování by tedy mělo začínat otázkami, které oddělí „model problém“ od „data problém“:

• Má agent k dispozici kompletní a aktuální kontext, nebo improvizuje?
• Je jasně definovaný source of truth pro klíčové entity (zákazník, objednávka, smlouva)?
• Je možné dohledat, z jakých dat agent vycházel (evidence, odkazy, verze dokumentů)?
• Máme jednotnou definici pojmů a metadat (co znamená „VIP“, „aktivní“, „riziko“)?
• Je integrace idempotentní, auditovatelná a bezpečná?

Pokud jsou odpovědi negativní, model upgrade často nepomůže. Pouze zlepší „kvalitu improvizace“. A kvalitní improvizace je pořád improvizace, jen je dražší.

Strategicky nejrozumnější je přemýšlet o agentovi jako o vrstveném systému: model je výpočetní motor, data jsou palivo, orchestrátor je řídicí jednotka, validátory jsou brzdy a provoz je servisní plán. Pokud chceš dlouhodobě škálovat, musí být investice rozložená mezi všechny vrstvy.

Use-cases a přínosy

Vhodné use-casy pro agentní automatizaci se poznají tak, že hodnotu nevytváří „chytrost odpovědi“, ale „správná akce na správných datech“. To znamená, že data jsou součást výsledku. Bez dat agent nemá co automatizovat.

Typické use-casy, kde data rozhodují o kvalitě víc než model:

• Support triage: kvalita stojí na správné klasifikaci a správném přiřazení SLA podle zákazníka a produktu.
• CRM hygiene: doplňování polí, detekce duplicit, sumarizace callů. Model pomůže, ale bez CRM definic a master dat bude chybovat.
• Renewal a retence: kvalita závisí na správné segmentaci, historii, kontraktu a předešlých interakcích.
• Fakturace a kontroly: model bez dat nepozná, co je odchylka, a bez datové definice pravidel nedokáže validovat.
• Knowledge copilot: bez kvalitní knowledge base bude agent halucinovat, i když máš nejlepší model.

Proti tomu existují use-casy, kde modelový rozdíl může být dominantní: kreativní copywriting, generování návrhů, brainstorming. Jenže tohle jsou typicky low-risk aktivity. Jakmile agent dělá akci, data začnou dominovat.

Praktický závěr: pokud firma očekává přínos v procesech, musí investovat do dat stejně nebo víc než do modelu. Pokud očekává přínos v obsahu bez dopadu, model může být hlavní položka. V agentní automatizaci to ale bývá menšina.

Data a integrace

Data v agentních systémech nejsou jen „nějaké dokumenty“. Agent potřebuje tři typy dat: transakční data (co se stalo),n referenční data (definice, číselníky, pravidla) a kontextové signály (historie, segmentace, preference). Pokud některý typ chybí, agent bude dělat chyby, které na první pohled vypadají jako modelové.

Nejčastější datové problémy v praxi:

• Nekonzistence: stejné pole má různý význam napříč týmy.
• Neaktuálnost: dokumenty a pravidla nejsou verzované a agent neví, co platí.
• Chybějící metadatová vrstva: agent nepozná, co je relevantní, protože chybí tagy, typy, kategorie.
• Rozpad source of truth: stejné informace v CRM a v ERP se liší a agent nemá prioritu.
• Špatná integrační hygienа: API volání nejsou idempotentní a retry vytváří duplikáty.

Integrace musí být navržena jako produkt, ne jako skript. To znamená kontrakty, validace, logging a retry pravidla. V agentním světě je zásadní pravidlo: akce musí být dohledatelná a vratná. Pokud agent něco zapíše do CRM,n musíš to umět dohledat a případně rollbackovat nebo kompenzovat. Bez toho se systém v čase rozpadne.

Architektura a workflow

Kvalita agentů je často mylně připisovaná modelu, protože architektura bývá postavená tak, že model dostane celé břemeno. Správná architektura naopak přesouvá břemeno na data a kontrolní vrstvy. Model pak dělá to, v čem je nejlepší: interpretace, sumarizace, návrhy rozhodnutí.

Osvědčená architektura pro kvalitní agenty:

• Router: rozhodne, jaká trasa, jaké riziko, jaký režim autonomie.
• Context builder: připraví data z definovaných zdrojů pravdy a přidá evidence.
• Policy engine: vynutí pravidla, co se smí a nesmí, a nastaví limity.
• LLM step: model navrhne řešení, ale neprovádí kritickou akci bez validace.
• Validator: kontrola výstupu, schémat, pravidel, tone-of-voice, citlivých dat.
• Tool layer: provede akce idempotentně a loguje trace. Agent + RPA hybrid.
• Observability: metriky a auditní stopa po trasách. Agentic monitoring.

Pokud ti chybí context builder a validator, budeš „kupovat kvalitu v modelu“. Pokud je máš, často stačí i levnější model. A hlavně: kvalita bude stabilnější, protože je deterministicky ukotvená v datech a pravidlech.

Metriky a kvalita

Nejrychlejší způsob, jak ukončit debatu „model vs data“, je měřit. Ale měřit správně. Nestačí „líbí se mi odpovědi“. Potřebuješ metriky, které rozliší, jestli agent selhal kvůli modelu nebo kvůli datům.

Doporučené metriky pro agentní kvalitu:

• Grounding rate: kolik výstupů je podloženo evidencí (u RAG, u pravidel, u datových zdrojů).
• Evidence coverage: zda agent dostal klíčové dokumenty nebo záznamy pro daný případ.
• Data freshness: stáří dat, která agent použil, a verze dokumentů.
• Override rate: kolikrát člověk opravil výstup, a proč (kategorizace důvodu).
• Rollback rate: kolikrát se musela vrátit akce v systémech.
• Policy violations: porušení pravidel, citlivá data, tone-of-voice, zakázané tool calls.
• Cost per case: náklady na vyřešení jednoho případu včetně retrieval a tool calls.

Klíčový trik: když agent chybuje, musíš umět odpovědět na otázku „měl agent správná data“. Pokud neměl, je to data problém. Pokud měl a stejně se spletl, je to model nebo prompt problém. Bez evidence a metadat tuto diagnostiku neuděláš a skončíš u drahé intuice.

Rizika a mitigace

Největší riziko mýtu „kvalita je model“ je to, že firma investuje do dražšího modelu a zůstane se stejnou datovou hygienou. To vede k falešnému pocitu bezpečí. Model bude znít přesvědčivěji, ale stále bude rozhodovat na špatných nebo neúplných datech. Výsledkem je reputační a finanční riziko, které roste se škálou.

Mitigace je praktická a není tajemná:

• Evidence-first: agent má v odpovědi opřené body o konkrétní zdroje a ID záznamy.
• Segmentace dat: agent nevidí vše, ale pouze relevantní zdroje pravdy.
• Validace: strukturované výstupy, kontrola polí, pravidel a citlivých údajů.
• Escalace: u nejistoty nebo vysokého dopadu přepnout do režimu návrhů.
• Monitoring datového driftu: změna schémat, změna procesů, změna definic.

Důležité: drift není jen modelový. Drift je často datový. Změní se definice pipeline stage, změní se formuláře,n změní se taxonomie ticketů, změní se šablony smluv. Agent pak vypadá, že se zhoršil, ale skutečný důvod je změna dat. Proto musí být datové změny verzované a komunikované.

Governance a odpovědnost

Když firma věří, že kvalita je „hlavně model“, governance často vypadá takto: někdo vybere model, a pak se čeká,n že zbytek se vyřeší sám. Ve skutečnosti je governance hlavně o datech: kdo vlastní definice, kdo vlastní zdroje pravdy,n kdo schvaluje změny v dokumentech a pravidlech, kdo schvaluje integrační kontrakty.

Doporučený governance model:

• Platform owner: orchestrátor, policy, audit, monitoring, cost governance.
• Data owner: zdroje pravdy, kvalita dat, definice polí, číselníky a taxonomie.
• Domain owner: KPI a definice úspěchu v procesu, prahy eskalace.
• Security reviewer: přístupy, logování, retention, citlivá data.

Bez těchto rolí se bude kvalita řešit improvizací. To vždycky skončí tak, že se „opravuje prompt“, protože je to nejrychlejší. Jenže prompt opravy bez datových oprav jsou kosmetika.

Organizační dopady a adopce

Uživatelé si rychle vytvoří názor, jestli je agent důvěryhodný. A ten názor je překvapivě málo o tom, jak „chytrá“ je odpověď. Je hlavně o tom, jestli je odpověď konzistentní s realitou firmy. To je data problém.

Pokud agent jednou řekne, že zákazník má aktivní smlouvu a podruhé že ne, důvěra padá. Ne kvůli modelu. Kvůli nekonzistenci source of truth. Pokud agent jednou doporučí jiný proces než interní standard, důvěra padá. Kvůli nekonzistenci pravidel a dokumentů. Pokud agent vytváří dvakrát stejný ticket, důvěra padá. Kvůli idempotenci integrací. To všechno jsou datové a systémové vrstvy.

Adopce se proto urychlí, když zavedete dvě věci: (1) evidence a transparentnost, (2) jasné eskalace. Když uživatel vidí, z čeho agent vychází, a ví, že kritické kroky se eskalují, důvěra roste.

Implementační roadmapa

Pokud chceš zvýšit kvalitu agentů, nezačínej upgradováním modelu. Začni mapováním dat. Níže je roadmapa, která funguje v praxi a dává ti rychlé vítězství bez toho, aby sis zadělal na křehký systém.

0-30 dní: data realita a zdroje pravdy

• vyber 1 trasu a definuj KPI
• urči source of truth pro klíčové entity
• zaveď evidence: odkazy na záznamy, verze dokumentů
• popiš taxonomie: typy ticketů, pipeline stage, segmenty

31-60 dní: context builder a validace

• postav kontextovou vrstvu, která načítá relevantní data
• zaveď validátory výstupů a schémat
• zaveď prahy eskalace pro nejistotu a dopad
• měř grounding a override důvody

61-90 dní: provozní disciplína

• observability po trasách: cost per case, rollback, policy violations
• release management pro prompt, data zdroje a policy
• incident runbooky a kill switch
• příprava na škálování dalších tras

Srovnání přístupů

Když firma řeší kvalitu agentů, typicky má tři možnosti. Každá má smysl, ale jen v jiném pořadí. Nejhorší je začít od modelu a ignorovat data. Nejlepší je začít od dat a teprve potom řešit model.

Správná kombinace pro agentní automatizaci: nejdřív data a kontext, pak validace a orchestrace, a až potom model.

Detailní metriky a experimenty

Pokud chceš kvalitu řídit dlouhodobě, potřebuješ experimenty, které rozliší model vs data. V praxi se osvědčuje jednoduchý experiment: fixní model, mění se jen data a kontext. Pokud kvalita roste, problém nebyl model. Pokud kvalita neroste, pak má smysl řešit prompt a model.

Doporučené experimenty:

• stejný model, různé evidence coverage: kolik dokumentů a záznamů agent dostane
• stejný model, různé datové definice: taxonomie a číselníky
• stejný model, různé validátory: kontrola struktury a pravidel
• stejný model, různé routing režimy: safe mode vs autonomie

U každého experimentu sleduj override rate, rollback rate, grounding a cost per case. Kvalita bez nákladové kontroly není kvalita.

Řízení změn a release

Další důvod, proč data dominují kvalitě: data se mění častěji než model. Dokumenty se aktualizují, procesy se mění,n CRM pole se přejmenují, taxonomie se upraví. Pokud nemáš release management pro data, agent se bude „zhoršovat“ bez změny modelu.

Release management musí zahrnovat:

• verzování dokumentů a pravidel
• testy na změny schémat a integrací
• canary rollout pro změny knowledge base
• rollback plán, když se kvalita zhorší

Bezpečnost a compliance

Model upgrade často zvyšuje riziko, pokud data nejsou pod kontrolou. Agent bude „přesvědčivější“ i v situaci,n kdy nemá správné informace. Proto je compliance v agentních systémech především o evidenci a auditní stopě. Nejen o tom, jaký model používáš.

Praktické minimum:

• redakce citlivých dat v logách
• evidence zdrojů pro rozhodnutí
• policy pro to, co smí do modelu
• role-based přístupy k datům a nástrojům

Provoz a incident management

V produkci bude kvalita kolísat. Ne proto, že se model zhorší, ale protože se změní data. Proto potřebuješ datové alerty: změna schématu, pokles evidence coverage, nárůst override rate v segmentu, nárůst rollbacku. Provozní systém musí reagovat.

Kill switch a safe mode nejsou jen bezpečnost. Jsou to nástroje kvality. Když se data rozpadnou, dočasně snížíš autonomii,n než opravíš data. Bez toho budeš řešit incidenty způsobené špatným kontextem.

Škálování a standardizace

Škálovat agentní systém bez datové standardizace nejde. Přidáš další trasu a kvalita se rozpadne,n protože každá trasa začne používat jiné definice a jiné zdroje. Standardizace znamená jednotná metadatová vrstva,n jednotná taxonomie a jednotné kontrakty integrací. Mýty vs realita: Jeden univerzální agent zvládne všechny procesy.

Pokud máš standardy, můžeš přidávat use-casy rychle. Pokud je nemáš, každý use-case je nový projekt. A to je důvod, proč se mnoho AI programů zastaví po pilotu.

Jak správně nastavit pilot

Pilot kvality agentů musí být datový pilot, ne modelový pilot. Vyber trasu, kde můžeš měřit: (1) jaká data agent dostal, (2) zda použil evidence, (3) zda se změnily výsledky po zlepšení dat. Pokud pilot ukáže, že data zvedají kvalitu, víš, kam investovat.

Pilotní pravidlo: jedna trasa, jedna definice úspěchu, jeden datový zdroj pravdy, jeden dashboard metrik. Méně je více. Když pilot rozšíříš na mnoho datových zdrojů bez governance, výsledky budou nečitelné.

Ekonomika a ROI

Model upgrade je jednoduchý rozpočet. Data upgrade je disciplína. Proto firmy často volí model upgrade. Jenže ROI v agentních systémech typicky stojí na tom, že agent řeší případy správně a bez opravy. Každá oprava stojí čas. Každý rollback stojí reputaci a náklady. Data kvalita je proto přímo ekonomická.

Pokud chceš obhájit investici, počítej cost per case a override cost. V mnoha firmách override cost dominuje. A override cost je datový problém. Když agent nevidí správnou historii nebo segmentaci, člověk opravuje. Když člověk opravuje, ROI padá.

Kvalita dat a data governance

Když řeknu „kvalita agentů je hlavně o datech“, lidé si představí čistění databáze. To je jen část. Data governance znamená:

• kdo vlastní definice
• kdo schvaluje změny
• kde je source of truth
• jak se data verzují
• jak se měří kvalita a drift

Bez governance se data postupně rozpadnou. A agent se bude zhoršovat. Bez změny modelu. To je nejčastější scénář v produkci.

Praktický krok, který dává největší efekt: zavést metadatovou vrstvu. Tagy, typy dokumentů, kategorizace,n životní cyklus dokumentů, verze a platnost. Jakmile má agent metadata, umí lépe vybrat relevantní kontext. A to je kvalita, kterou model sám nenahradí.

Praktický checklist

• Má agent jasný source of truth pro klíčové entity?
• Umíme dohledat evidence (záznamy, dokumenty, verze), ze kterých agent vycházel?
• Máme taxonomie a definice pojmů (čísleníky, segmenty, stavy)?
• Máme context builder, který připravuje relevantní data, ne dump všeho?
• Máme validátory výstupů a schémat před akcí?
• Měříme grounding rate, override rate a rollback rate po trasách?
• Máme release management pro změny datových zdrojů a knowledge base?
• Máme safe mode pro kritické kroky a kill switch pro incidenty?
• Máme data ownera a proces schvalování změn definic?

FAQ

Má smysl kupovat lepší model?
n Ano, ale až ve chvíli, kdy agent dostává správný kontext, má evidence a má validaci. Jinak kupuješ lepší improvizaci.

Co nejčastěji zlepší kvalitu agentů bez změny modelu?
n Zlepšení evidence coverage, metadat, source of truth a validátorů. Tedy datový a architektonický upgrade.

Jak poznám, že problém je v datech?
n Když agent chybuje v konkrétních segmentech, když nemá evidence, když se rozhoduje na neaktuálních dokumentech,n když jsou protichůdné informace napříč systémy.

Jak rychle se projeví datové zlepšení?
n Často během týdnů, protože snížíš override a rollback. Model upgrade bez dat často nepřinese stabilní zlepšení.

Závěr

Kvalita agentů v produkci není primárně o modelu. Je primárně o datech: source of truth, evidence, metadata, integrace a governance. Model je motor, ale data jsou palivo a mapy. Bez map bude i nejlepší motor jezdit špatným směrem. Pokud chceš stabilní agentní automatizaci s měřitelným dopadem, investuj nejdřív do datové vrstvy,n do kontextové přípravy, validace a auditní stopy. Teprve potom má model upgrade smysl a přinese skutečné zlepšení.

Další krok: vyber jednu trasu, udělej audit zdrojů pravdy, zaveď evidence, postav context builder a začni měřit grounding a override. To je nejrychlejší cesta, jak proměnit mýtus „stačí lepší model“ na realitu „máme stabilní AI systém“.