AI Act na obzoru: co čeká firmy a jak se připravit

Koho se AI Act týká a co reguluje

AI Act se aplikuje na celý životní cyklus AI – od vývoje a tréninku přes integraci do produktů až po provoz a monitoring. Má exteritoriální dosah: dopadá i na firmy mimo EU, pokud jejich AI nebo její výstupy cílí na uživatele v EU. Vztahuje se na komerční i veřejné subjekty a definuje povinnosti pro:

• Poskytovatele (providers): kdo vyvíjí, uvádí na trh nebo do provozu AI systém pod svou značkou.
• Nasazovatele/uživatele (deployers): kdo systém používá v praxi (např. banka používající AI pro skóring).
• Importéry a distributory: kdo uvádí AI systém z třetích zemí na trh EU nebo jej distribuuje.

Nařízení neruší inovace – zavádí risk-based přístup: čím vyšší riziko dopadu na bezpečnost a základní práva, tím přísnější pravidla. Neplatí pro čistě soukromé neprofesionální použití, výzkumné záměry bez uvedení na trh a vojenské účely.

Časová osa účinnosti (co platí kdy)

• V platnosti: AI Act platí a běží přechodné lhůty.
• Od 2. 2. 2025: vymahatelné zákazy vybraných praktik a povinnost zvyšovat AI gramotnost (AI literacy).
• Od 2. 8. 2025: povinnosti pro GPAI/foundation modely a unijní governance.
• Od 2. 8. 2026: většina povinností pro high-risk AI (řízení rizik, dokumentace, QMS, CE aj.).
• Do 2027: vybrané high-risk systémy integrované do již regulovaných produktů (např. zdravotnické prostředky) mají delší lhůtu.

Prakticky: už dnes je vhodné inventarizovat AI, nastavit osnovu dokumentace a zrevidovat use-cases vůči seznamu zakázaných praktik.

Základní definice a role

AI systém

Software vyvinutý pomocí strojového učení, logiky, znalostních přístupů nebo kombinací, který pro dané cíle generuje obsah, předpovědi, doporučení či rozhodnutí ovlivňující prostředí, s nímž interaguje.

General-Purpose AI (GPAI)

Model schopný širokého uplatnění napříč úlohami (typicky foundation/generativní model), který lze přeučit a integrovat do mnoha aplikací. Pro GPAI platí zvláštní pravidla – zejména transparentnost a bezpečnostní pokyny pro downstream vývojáře.

Provider vs. Deployer

• Provider: nese odpovědnost za návrh, trénink/konfiguraci, dokumentaci a uvedení na trh/provoz pod svou značkou.
• Deployer: nese odpovědnost za způsob použití, lidský dohled, kvalitu vstupních dat, informování dotčených osob a vedení záznamů/logů.

Klasifikace rizik: od zakázaných praktik po high-risk

Zakázané praktiky (od 2. 2. 2025)

• Biometrická kategorizace podle citlivých znaků (např. politické názory, sexuální orientace).
• Sociální skórování institucemi.
• Rozpoznávání emocí na pracovištích a ve školách (s úzkými výjimkami).
• Nezacílené skenování obličejů z internetu/CCTV pro databáze rozpoznávání.
• Určité formy prediktivní policejní analýzy založené čistě na profilování.

„High-risk“ AI

Za high-risk se považují zejména systémy uvedené v příloze III (např. nábor a HR, vzdělávání a testování, přístup k základním službám a úvěrům, zdravotnictví, kritická infrastruktura, veřejná správa) a také AI jako součást produktů regulovaných sektorovou legislativou (např. zdravotnické prostředky).

U high-risk se spouští náročná sada povinností: řízení rizik, data governance, technická dokumentace, lidský dohled, kyberbezpečnost, post-market monitoring, označení shody (CE) a registrace v EU databázi.

Nízké a omezené riziko

Pro nízkorizikové aplikace (např. interní asistent bez dopadu na práva a bezpečnost) se uplatní primárně dobrá praxe a transparentnost (uživatel ví, že komunikuje s AI). I zde ale platí zásady bezpečnosti, ochrany dat a férovosti.

Povinnosti poskytovatelů (providerů) high-risk AI

Pokud vyvíjíte/uvádíte na trh high-risk AI, připravte se na „produktový“ režim včetně posouzení shody a CE označení. Klíčové body:

• QMS – systém řízení kvality: zavést a udržovat (politiky, procesy, kompetence, záznamy, řízení změn).
• Řízení rizik (E2E): identifikace, hodnocení a mitigace rizik v průběhu vývoje i provozu; pravidelná aktualizace.
• Data governance: kvalita a reprezentativnost tréninkových a validačních dat, dokumentace zdrojů a licencí, bias analýzy.
• Technická dokumentace: dle přílohy IV – účel, architektura, datasety, metriky, limity, testy robustnosti a kyberbezpečnosti.
• Logování: bezpečné záznamy relevantní k auditům a incidentům (s respektem k ochraně dat).
• Transparentnost: návod k použití, známá rizika, omezení, metriky výkonu a doporučené podmínky nasazení.
• Lidský dohled: návrh kontrolních bodů (HITL), aby člověk zabránil či zmírnil škodlivé dopady.
• Kyberbezpečnost a robustnost: odolnost proti útokům (vč. prompt injekcí), detekce anomálií, obrana proti zneužití.
• Posouzení shody: interní postupy či zapojení notifikovaného subjektu (dle modulu); EU prohlášení o shodě a CE označení.
• Registrace v EU databázi a post-market monitoring včetně hlášení vážných incidentů.

Doporučení: co nejdříve sjednoťte šablonu dokumentace („system card“) a testovací protokoly; vaše týmy tím výrazně zrychlí posuzování shody.

Povinnosti nasazovatelů/uživatelů (deployerů) high-risk AI

I když systém „jen“ používáte, AI Act vám ukládá specifické povinnosti:

• Používání dle návodu: respektovat určení, limity a postupy dodavatele.
• Lidský dohled: určit kvalifikované osoby odpovědné za dohled a zásah v kritických bodech.
• Kvalita vstupních dat: zajistit, že vstupy odpovídají účelu a nevedou k diskriminaci či chybám.
• Logy a monitoring: evidovat provoz, vyhodnocovat dopady a udržovat záznamy pro audit (nejméně po stanovenou dobu).
• FRIA – posouzení dopadů na základní práva: ve vybraných oblastech (např. veřejné služby, HR u některých subjektů); propojte s DPIA podle GDPR.
• Informování osob: zaměstnanci, kandidáti, klienti musí vědět, že je použita AI a jaká mají práva.
• Incidenty: hlásit poskytovateli a dohledu, pozastavit použití při významném riziku.

Prakticky: připravte interní runbook – kdy a jak eskalovat, koho informovat, jak provést dočasné vypnutí („kill switch“).

GPAI / foundation modely: zvláštní pravidla

Poskytovatelé foundation/GPAI modelů musí plnit zejména transparentnost (technická dokumentace, informace pro downstream vývojáře), bezpečnostní pokyny (limity, známá rizika, doporučené mitigace), respekt k autorskému právu (včetně režimu text-data mining a opt-outů) a průběžné vyhodnocování rizik. U GPAI se „systémovým rizikem“ přibývají ještě přísnější požadavky (reporting, mitigace „state-of-the-art“).

Pokud GPAI jen používáte ve své aplikaci, stáváte se providerem výsledného AI systému – nesete odpovědnost za kontext, data, dohled a dokumentaci své aplikace.

Transparentnost a označování: co musíte říkat uživatelům

• Oznámení AI: uživatel má vědět, že komunikuje s AI (chatbot, generátor obsahu).
• Označování syntetického obsahu: deepfake a generované médiá musí být rozpoznatelné (technologicky i textově).
• Právo na vysvětlení: v kontextech individuálních rozhodnutí (např. odmítnutí služby) musí být k dispozici srozumitelné vysvětlení hlavních faktorů.

Doporučení: připravte uživatelské disclosure bannery, šablony textů a interní guideline, aby byly hlášky konzistentní napříč kanály.

Governance, dozor a EU databáze

Na úrovni EU vzniká AI Office (koordinace, metodika, GPAI dohled) a členské státy ustanovují národní dozorové orgány. Pro high-risk systémy je zřízena EU databáze, kam se registrují vybrané informace (část veřejná, část neveřejná). Očekávejte rozvoj harmonizovaných norem a common specifications, které vám mohou poskytnout „presumpci shody“, pokud je přijmete.

Pokuty a vymáhání: jak velká jsou rizika

Záměr je odrazovat od hrubých porušení. Za zakázané praktiky a části GPAI se systémovým rizikem hrozí nejvyšší sankce (až jednotky procent celosvětového obratu nebo desítky milionů eur). Za jiné povinnosti nižší, ale stále významné pokuty. U menších podniků může dozor přihlédnout k proporcionalitě, nápravě a spolupráci.

Vedle přímých pokut je zásadní reputační riziko a smluvní odpovědnost vůči partnerům a klientům.

Praktický 90denní plán přípravy

0–30 dní: inventura a moratorium rizik

• Katalog AI: sepište všechny AI systémy a integrace (včetně SaaS, open-source modelů a interních skriptů). K každému: účel, data, dotčené osoby, role (provider/deployer), odhad rizika (zakázané/transparentnost/high-risk/GPAI).
• Rychlé zásahy: okamžitě zastavte vše, co by mohlo spadat pod zakázané praktiky (např. rozpoznávání emocí zaměstnanců).
• Minimální transparentnost: zaveďte oznámení „tady odpovídá AI“ a označování syntetických médií tam, kde je to zjevné.
• Vlastník compliance: jmenujte odpovědnou osobu/tým (AI Compliance Lead, právník, bezpečák, data lead).

31–60 dní: procesy, dokumentace, bezpečnost

• QMS pro AI: nastavte základní politiky a šablony: řízení rizik (E2E), data governance, technická dokumentace (příl. IV), lidský dohled, kyberbezpečnost.
• FRIA/DPIA: připravte metodiku a šablony; propojíte tak AI Act a GDPR. Rozhodněte, kde je FRIA povinná a kde vhodná.
• AI gateway & DLP: centralizujte přístup k externím modelům, zapněte redakci PII/tajemství, omezte shadow AI.
• Incident runbook: postup pozastavení systému, oznamování, forenzní kroky, komunikační plán.

61–90 dní: konformita, evidence, školení

• Conformity assessment: u high-risk naplánujte proces posouzení shody, stanovte časový plán pro EU prohlášení a CE.
• EU databáze: připravte datové podklady (co je veřejné, co neveřejné), nastavení odpovědností za aktualizace.
• AI literacy: role-based školení pro vývoj, produkt, právní a byznys týmy; krátké mikro-lekce a testy.
• Standardy: mapujte na ISO/IEC 42001 (AIMS), 23894 (AI risk), 27001 (ISMS) a další harmonizace – získáte presumpci shody.

Jak AI Act zapadá do GDPR, NIS2, CRA nebo DORA

• GDPR: řeší osobní údaje (právní základy, DPIA, práva subjektů). AI Act přidává produktově-inženýrské povinnosti (dokumentace, řízení rizik, dohled). Často poběží současně – např. FRIA + DPIA.
• NIS2: bezpečnost sítí a informací u vybraných sektorů. Pomáhá prokázat kyber-odolnost AI, ale nepokrývá dokumentaci AI jako takové.
• Cyber Resilience Act (CRA): bezpečnost produktů s digitálními prvky. Je-li AI součástí takového produktu, sdílíte požadavky a můžete čerpat presumpci shody bezpečnostních částí.
• DORA: ve finančním sektoru posiluje odolnost ICT a testování – sladit s monitoringem AI a incident playbooky.

Modelové scénáře podle odvětví

HR / nábor

Třídění životopisů, doporučování kandidátů a posuzování vhodnosti se často kvalifikuje jako high-risk. Provider musí dodat dokumentaci, metriky výkonu/robustnosti, popis rizik a návod k lidskému dohledu. Deployer zajišťuje FRIA (kde je povinná), informování kandidátů, kvalitu vstupních dat a logování rozhodnutí. Doporučené mitigace: bias testing, dvojí kontrola u hraničních případů, pravidelné audity modelu.

Kreditní scoring

Klasický high-risk case. Zajistěte interpretovatelnost klíčových faktorů (pro vysvětlení klientovi), limity pro automatizovaná rozhodnutí, lidský dohled ve sporných případech, a robustní data governance. Dokumentace musí popisovat výběr proměnných, detekci a mitigaci biasu a postupy při incidentu.

Zdravotnictví

U AI v diagnostice či léčbě se kombinuje AI Act s MDR/IVDR. Počítejte s klinickou validací, bezpečnostními zkouškami, QMS, kyberbezpečností a delšími přechodnými lhůtami. Důraz na lidský dohled a jasné vymezení účelu použití.

Veřejná správa

Systémy pro přístup k sociálním dávkám, vzdělávání či hodnocení rizik dopadají do přísnějšího režimu. Povinné FRIA, transparentnost vůči veřejnosti a pečlivé logování rozhodnutí i vstupů.

GPAI ve firmě

Používáte-li foundation modely k interním úkolům (např. asistent podpory), zaměřte se na transparentnost, označování syntetického obsahu, bezpečnostní pokyny pro uživatele, ochranu dat a omezení shadow AI. Pokud model dále publikujete (API, produkt), přebíráte roli providera daného AI systému.

Jak zabudovat požadavky do SDLC a QMS

1. Design by compliance: při definici epiců zachyťte účel AI, dotčené osoby, rizika a metriky. Každá user-story má „compliance acceptance criteria“.
2. Repo dokumentace: verzujte „system cards“, datasheety, test plány a výsledky. Každý release přikládá „conformity delta“.
3. Risk & bias testing: automatizujte sady testů (robustnost, odolnost proti injekci, drift, fairness). Fail = blokace releasu.
4. HITL a runbooky: definujte schvalovací brány a kill-switch. U citlivých procesů povinné „four-eyes“.
5. Monitoring po nasazení: kvalita (přesnost, false positives), bezpečnost (zneužití), práva (stížnosti, vysvětlení), náklady (FinOps).

Šablony dokumentace a checklisty

TITLE: Název AI systému a verze
PURPOSE: Účel a určené použití, vyloučené použití
DATA: Zdroje, licence, čištění, bias analýzy
MODEL: Architektura, trénink/konfigurace, hyperparametry
METRICS: Výkonnost, robustnost, fairness, limity
RISK MGMT: Identifikovaná rizika a mitigace, HITL body
SECURITY: Threat model, obrana proti injekcím, audit, logy
HUMAN OVERSIGHT: Role, postupy, odpovědnosti
DOCUMENTS: Odkazy na test reports, FRIA/DPIA, QMS politiky
CHANGELOG: Změny, datum releasu, odpovědná osoba

TRIGGER: Eskalace z monitoringu / stížnost uživatele / anomálie
STEP 1: Dočasně pozastavit model / route, aktivovat safe mode
STEP 2: Notifikovat poskytovatele, právní a dozorový orgán (dle závažnosti)
STEP 3: Forenzní šetření (bez zbytečné expozice dat), časová osa
STEP 4: Náprava (patch, re-trénink, změna dat, úprava HITL)
STEP 5: Post-mortem, update dokumentace, školení týmu

Rychlý compliance checklist (ANO/NE)

• Máme inventuru AI a přiřazené role (provider/deployer/importér/distributor)?
• Identifikovali jsme high-risk a zakázané scénáře? Máme moratorium a plán náhrady?
• Existuje QMS pro AI (politiky, procesy, šablony dokumentace, evidence testů)?
• Máme FRIA/DPIA metodiku a šablony? Je jasné, kdy je FRIA povinná?
• Máme AI gateway/DLP, logování a monitoring, včetně ochrany proti prompt injekci?
• U high-risk: plán posouzení shody, EU prohlášení, CE, registrace v EU databázi?
• GPAI: transparentnost, bezpečnostní pokyny pro downstream, IP/autor práva?
• Školení (AI literacy) pro klíčové role a onboarding nováčků?

FAQ a časté mýty

„AI Act se nás netýká, nejsme z EU.“

Pokud vaše AI cílí na uživatele v EU nebo je dostupná na unijním trhu, AI Act se vás týká bez ohledu na sídlo.

„Používáme jen SaaS AI, odpovědnost je na vendorovi.“

Jako deployer máte povinnosti (dohled, logy, FRIA/DPIA, informování). A pokud nad SaaS stavíte rozhodovací systém, stáváte se providerem tohoto systému vy.

„Stačí nám GDPR.“

GDPR řeší osobní údaje. AI Act navíc vyžaduje produktové řízení rizik, dokumentaci, lidský dohled, označení shody a post-market monitoring.

„Když splníme NIS2/CRA, máme hotovo.“

Pomůže to se zabezpečením, ale AI Act má širší záběr (data governance, transparentnost, lidský dohled, dokumentace a CE u high-risk).

„GPAI se nás netýká, vždyť jen používáme API.“

Pokud na API stavíte vlastní rozhodovací systém, stáváte se providerem tohoto systému – odpovědnosti se nevyhnete.

Závěr a doporučené další kroky

AI Act převádí obecné principy „důvěryhodné AI“ do konkrétních, opakovatelných postupů. Nejde o „papírování navíc“, ale o zralý provoz: lepší řízení rizik, vyšší kvalita, méně incidentů, rychlejší škálování. Firmy, které začnou včas, získají náskok – v důvěře zákazníků, v rychlosti schvalování i ve stabilitě dodávky. V praxi doporučujeme:

1. Jmenovat vlastníka AI compliance a ustavit malý AI governance board.
2. Dokončit inventuru AI a vyznačit high-risk/zakázané/GPAI scénáře.
3. Spustit základní QMS pro AI (politiky, šablony, repo dokumentace a testů).
4. Zavést AI gateway/DLP, FRIA/DPIA šablony a incident runbooky.
5. Vybrat 1–2 prioritní systémy a projít s nimi „end-to-end“ cestu k souladu – včetně evidence a školení.

Tím si vytvoříte opakovatelný rámec. Jakmile přijdou další harmonizované normy a vodítka, pouze je zapracujete do už jedoucího vlaku – místo abyste startovali od nuly.