LangGraph a agent orchestrace: nový standard pro AI agenty

Proč LangGraph a proč teď

AI agenty se posouvají od „jedné dlouhé odpovědi“ k cílům složeným z kroků, které je nutné plánovat, kontrolovat a opakovat. V jedné úloze často kombinujeme získávání informací, nástroje (retrieval, volání API), kritiku a korekci, práci s pamětí, a nakonec generování výsledku. Zatímco tradiční řetězení kroků postačí pro lineární procesy, reálné úlohy vyžadují grafy s větvením, slučováním, paralelními větvemi a „zpětnými hranami“ pro iteraci.

LangGraph proto staví agenty jako stavové grafy. Každý uzel je krok (agent, nástroj, kontrola), hrany definují přechody a stav nese zprávy, metadata a artefakty, které si uzly předávají. Díky tomu získáte deterministicky popsané workflow se srozumitelnou observabilitou, možností retry, checkpointingu a řízeného paralelismu. Z pohledu produktu jde o nový standard pro agenty v prostředí, kde záleží na kvalitě, bezpečnosti i TCO.

Základní koncepty LangGraphu

• Stav (state): datová struktura nesoucí zprávy, mezi-výsledky, metadata a řízení toku. Stav je první třídy – lze jej logovat, checkpointovat a verziovat.
• Uzel (node): vykonatelná jednotka – LLM agent, nástroj, kontrola, validátor nebo „supervizor“ koordinující další uzly.
• Hrana (edge): přechod mezi uzly. Může být podmíněná – rozhodnutí se dělá nad stavem (např. „jsou citace dostatečné?“).
• Větvení a slučování: paralelní větve zrychlí práci (např. dotaz do více zdrojů), slučovací uzel vyhodnotí konsensus/konflikt.
• Kontrolované smyčky: „zpětné hrany“ umožní iterovat (plán → pokus → kritika → oprava), ale s ochranou proti nekonečným smyčkám.
• Checkpointing: schopnost „uložit a obnovit“ graf v definovaných bodech (pro retry, audit, nebo pokračování po výpadku).
• Kompozice grafů: větší systémy skládáte z podgrafů – znovupoužitelné moduly (např. subgraf pro vyhledávání a citace).

Základní výhoda: i komplexní chování je explicitně modelované a tím auditovatelné. Oproti „černé skříňce“ s jedním promptem vnímáte každý krok, jeho latenci, náklady a přínos ke kvalitě.

Single-agent vs. multi-agent: kdy který přístup

Single-agent je ideální pro lineární, nízko-rizikové úlohy, kde nepotřebujete kritiku, specializaci ani koordinaci. Výhodou je jednoduchost a nižší náklady. Multi-agent přináší specializaci rolí, oddělení odpovědností (např. jeden agent plánuje, jiný vykonává nástroje, třetí kontroluje bezpečnost) a vyšší robustnost díky kritice a iteraci. Zaplatíte vyšší latencí a složitostí – pokud ale řídíte p95/p99, náklady a smyčky, vyhrajete kvalitou a spolehlivostí.

Rychlé vodítko

Orchestraci nad více modely: routing, ensemble, specializace

Ne všude vyhrává jeden „největší“ model. V praxi fungují tři přístupy:

• Routing: rozhodovač (router) posílá dotazy na nejvhodnější model podle domény, jazyka, požadované latence, ceny nebo politik (např. interní vs. externí data).
• Ensemble: více modelů odpoví paralelně; konsolidátor vybere konsensus, majority vote nebo sloučí argumenty. Hodí se pro vysoce kritické odpovědi.
• Specializace (MoA): jednotliví agenti jsou „vyladění“ na určitý typ úloh (rekurzivní plánování, extrakce, generování kódu, přístup k určitému nástroji). Orchestrátor řeší jen kdy koho vzbudit.

Rozhodovací matice pro výběr strategie

Návrhové vzory multi-agentních systémů

Planner → Executor → Critic

Plánovač rozloží cíl na kroky; vykonavatel je provede (včetně nástrojů); kritik posoudí výsledek podle pravidel (citace, formát, rizika). Pokud nevyhoví, pošle zpětnou vazbu – ale s limitem iterací.

Researcher → Writer (s citacemi)

Výzkumník hledá zdroje, rozhoduje o relevanci a připraví „dossier“. Autor z „dossier“ skládá odpověď se sledovatelnými citacemi. Kontrolor ověřuje, že tvrzení odpovídají zdrojům.

Tool-Oriented Agent

Agent má jasně definovaný arzenál nástrojů (DB dotazy, dokumentové API, e-maily, kalendář). Orchestrátor hlídá kontrakty nástrojů, limity počtu volání a retry/backoff.

Safety/Compliance Guard

Oddělený agent zajišťuje obsahovou bezpečnost a compliance: filtry PII, pravidla toxicity, obchodní politiky. Je volán před publikací výsledku a má pravomoc vrátit krok na opravu.

Negotiator/Referee

Dva specializovaní agenti předkládají návrhy; rozhodčí vybírá podle metrik (krytí požadavků, riziko, náklady). Užitečné pro složitá rozhodnutí bez jednoho „správného“ řešení.

Stav a paměť agentů

• Krátkodobá paměť: pracovní kontext se zkracuje a sumarizuje, aby se vešel do kontextového okna. Důležité je nepřekládat do věčných logů to, co je citlivé.
• Dlouhodobá paměť: fakty, preference a „artefakty“ (např. schválené šablony) se ukládají do vhodného úložiště (SQL pro strukturu, vektorové DB pro sémantiku).
• Artefakty: výstupy, které se znovu použijí (výzkumné poznámky, extrahované tabulky, mezi-výpočty). Orchestrátor hlídá jejich verze a kvalitu.
• Pravidla retence: definujte, co a jak dlouho držet – a jak smazat na žádost (právo být zapomenut) až na úroveň „chunku“.

Nástroje, prostředí a interakce se světem

Silní agenti jsou nástrojoví agenti. Orchestrátor musí garantovat:

• Kontrakty nástrojů (schémata vstupů/výstupů, validace), aby nesprávné argumenty nezpůsobily kaskádové chyby.
• Omezení a rozpočty (počet volání, rozpočet tokenů, časové limity), aby se předešlo smyčkám a runaway nákladům.
• Bezpečné prostředí (secrets, sandboxing, řízení přístupů), zejména při volání externích API.
• Cache pro deterministické nástroje (např. dotazy na statická data) a sdílení výsledků mezi uzly.

Řízení průběhu: determinismus, větvení, retriable kroky

LangGraph umožňuje psát podmíněné hrany založené na stavu (např. „kvalita pod prahem → vrať se k opravě“) a nastavovat retriable uzly s exponenciálním backoffem. Kritické je definovat:

• Stop podmínky: maximální počet iterací, hloubka plánování, „no-progress“ detekce.
• Fallback cesty: degradované režimy (menší model, přeskočení rerankingu) a „last resort“ (předání člověku).
• Časové limity: timeouts per uzel i per celý běh grafu.

Paralelismus, streaming a event-driven orchestrace

Paralelní větve zrychlí dotazy do více zdrojů nebo běh více expertů najednou. Důležité je řídit fan-out (kolik větví najednou) a fan-in (jak slučovat výsledky). U uživatelských rozhraní přináší hodnotu streaming – uživatel dostává průběžné nálezy, zatímco se dokončuje validace a citace. Event-driven styl (reakce na „události ve stavu“) umožní připojení notifikací, auditních systémů nebo asynchronních kroků (např. dlouhý výpočet).

Observabilita, evaluace a testování

• Traces a metriky: měřte latenci p50/p95/p99 po uzlech, chybovost (technickou vs. sémantickou), náklady (tokeny, volání nástrojů), kvalitu (helpfulness, groundedness, přesnost citací).
• Zlaté sady: stabilní koš úloh a dotazů k porovnání verzí grafu, modelů a parametrů.
• Replay: schopnost „přehrát“ produkční běhy proti kandidátní verzi grafu (rychlá offline evaluace).
• Testy kontraktů: validace schémat vstupů/výstupů uzlů a nástrojů – chytáte chyby dřív než v produkci.
• Experimenty: A/B mezi variantami plánování, rerankingu nebo výběru modelu; sledujte kvalitu i TCO.

Bezpečnost, governance a risk management

• Policy guard jako samostatný uzel: kontrola toxicity, PII, licenčních podmínek a obchodních pravidel před publikací.
• RBAC/ABAC v nástrojích a přístupech ke zdrojům; auditní logy s vazbou na běh grafu.
• Data residency a retence: kde data (včetně embeddings) leží, jak dlouho a jak se mažou.
• Red-teaming: sady jailbreaků a injekcí. Orchestrátor musí zvládnout detekovat a zastavit nebezpečné toky.
• Lidský přezkum: u vysokého rizika musí existovat „human-in-the-loop“ s jasnými prahy aktivace.

Náklady, výkon a škálování

Sledujte cost-per-good-outcome – cenu za výsledek, který splní kvalitu. Izolované „cena za 1k tokenů“ klame. Hlavní páky:

• Routing na levnější model pro snadné úlohy; drahý model jen pro těžké případy.
• Limity iterací a cutoff pro reranking (zbytečně neposílat stovky kandidátů).
• Cache výsledků nástrojů a retrievalu; sdílení artefaktů mezi uzly.
• Paralelní větve jen tam, kde se vyplatí; jinde sekvenční kroky s kratší latencí.
• „Early exit“: pokud kvalita splněna, nepokračujte dalšími drahými kroky.

Nákladová tabulka (orientační myšlení)

SLA, spolehlivost a odolnost

• Time-budget pro celý graf; pokud se blíží limitu, aktivujte degradovaný režim (kratší kontext, bez rerankingu).
• Circuit breaker pro nespolehlivé nástroje; fallback na alternativu nebo offline data.
• Idempotence kroků (kde to dává smysl) a exactly-once semantika nad side-effects.
• Handover člověku u případů s vysokým rizikem nebo při opakovaných selháních.

Rozhodovací matice technologií

Referenční architektura pro produkci

1. Ingest & data layer: normalizace, deduplikace, metadata; SQL pro strukturu, vektorová DB pro sémantiku.
2. Tools & connectors: rozhraní na interní systémy (CRM, ERP), dokumentové úložiště, vyhledávání, platební a e-mailové služby.
3. LangGraph orchestrace: moduly (subgrafy) pro plánování, vyhledávání, nástroje, kritiku, bezpečnost a publikaci.
4. Model routing: výběr modelu podle domény, jazyka, ceny/latence, politik; fallback strategie.
5. Observabilita: metriky, traces, run-logy se stavem a artefakty; dashboardy p95/p99, kvalita a náklady.
6. Governance & security: RBAC/ABAC, audit, šifrování, retence, red-team sady, lidský přezkum.
7. Delivery: CI/CD pro grafy a prompty (verze, schvalování, canary rollout).

Roadmapa zavedení krok za krokem

1. V1 – PoC: definujte cílové metriky (kvalita, p95/p99, náklady), navrhněte minimální graf (např. Planner → Executor → Critic) a změřte baseline.
2. V2 – Kvalita: přidejte hybridní vyhledávání, citace a kritiku; zaveďte zlaté sady a replay evaluace.
3. V3 – Nástroje: integrujte klíčové API s kontrakty a limity; hlídejte retries a backoff; doplňte cache.
4. V4 – Bezpečnost: zaveďte guard agenta, RBAC/ABAC, audit, retence; red-teaming a incident runbooky.
5. V5 – Efektivita: routing modelů, adaptivní cutoff, early exit; optimalizace fan-out/fan-in; řízení nákladů.
6. V6 – Produkce: canary rollout, SLA, SLO/SLI, alerty, post-mortem disciplína a plán verzí.

Kontrolní seznamy (rychlá praxe)

Checklist: návrh grafu

• Jsou definované vstupy/výstupy každého uzlu a jejich validace?
• Existují podmíněné hrany pro úspěch/neúspěch a stop-podmínky?
• Máte checkpointing v kritických bodech?
• Jsou jasné limity iterací a time-budget?

Checklist: nástroje a integrace

• Schémata argumentů a návratových hodnot jsou strojově ověřovaná.
• Máte retry/backoff a circuit breaker pro nespolehlivá API.
• Všechny tajné klíče jsou spravované bezpečně; přístupy podle rolí.

Checklist: kvalita a náklady

• Existuje zlatá sada a nDCG@k/recall@k pro měření kvality?
• Měříte p95/p99 per uzel a cenu per „good outcome“?
• Je aktivní routing a early exit tam, kde to dává smysl?

Checklist: bezpečnost a governance

• Oddělený Safety/Compliance uzel před publikací.
• Definovaná retence a proces „right-to-be-forgotten“.
• Auditní trail propojuje výstup s verzemi modelů, promptů a grafu.

FAQ: krátké odpovědi

Potřebuji na všechno multi-agenty?

Ne. Začněte jednoduše. Multi-agentní přístup zvažte, když narážíte na kvalitu, bezpečnost, potřebu nástrojů nebo komplexní řízení toku.

Kdy zvolit orchestraci nad více modely?

Když se výrazně liší domény/jazyky, požadavky na latenci/cenu, nebo když ensemble zvyšuje robustnost u kritických odpovědí.

Jak předejít smyčkám?

Pečlivě definujte stop-podmínky (max iterace, no-progress), limity času a nákladů, a mějte „escape hatch“ k člověku.

Co je největší past v produkci?

Chybějící observabilita a kontrakty nástrojů. Bez nich nevíte, kde kvalita padá a proč náklady rostou.

Jak řídit náklady bez ztráty kvality?

Routing na levnější modely pro snadné případy, adaptivní cutoff, cache nástrojů a včasné ukončení po splnění kvality.

Závěr: od PoC k robustní orchestraci

LangGraph dává agentům tvar a disciplínu: explicitní stav, uzly, podmíněné hrany, paralelismus a checkpointy. Díky tomu můžete spolehlivě řídit kvalitu, náklady i rizika. Single-agent stačí pro jednoduché úlohy; jakmile potřebujete citace, nástroje, bezpečnost a konzistentní výsledky, multi-agentní graf s orchestrací nad více modely je logický krok vpřed. Klíčová je praxe: definujte metriky, měřte p95/p99 a náklady za „dobrý výsledek“, testujte na zlatých sadách a změny pouštějte přes canary rollout. Tak postavíte agenty, kterým lze v produkci věřit – rychlé, auditovatelné a ekonomicky udržitelné.