AI v robotice: spojení computer vision, řeči a pohybu

Proč právě teď: konvergence vize, řeči a pohybu

Roboti bývali šampioni přesnosti – ovšem jen v dokonale kontrolovaných buňkách. Jakmile se měnil tvar dílu, poloha palety nebo tempo linky, musela nastoupit fixtura, přestavba a nová validace. AI tohle paradigma mění: místo programování trajektorií na milimetry dopředu učíme politiky chování, které se adaptují. Výpočetně úsporné modely vize zvládají 3D rozpoznávání a odhad pózy v reálném čase, jazykové modely převádějí hlasové zadání na plán úloh a moderní řízení pohybu (MPC, whole-body control) dává robotům „smysl pro sílu“ u kontaktu s objekty i lidmi. Výsledek: multimodální robot, který vidí, rozumí a jedná.

Byznys motivace je jasná: kratší série, vyšší variabilita, tlak na bezpečnost, kvalitu a cenu. Multimodální roboty se hodí tam, kde je dnes manuální práce drahá, monotónní, bezpečnostně riziková nebo se potýká s fluktuací. Od četných pilotů se navíc posouváme k opakovatelným nasazením: standardizují se integrační rozhraní, flotilové řídicí systémy i metodiky bezpečnostní validace.

Co je multimodální robot a jak se liší od klasické automatizace

Multimodální robot spojuje více smyslů (vize, hloubka, síly, zvuk), jazykové porozumění a fyzickou zručnost. Zásadní rozdíl oproti klasické automatizaci je ve generalizaci: místo hard-coded scénářů využívá modely trénované na datových variacích a dokáže se přeučit mezi úlohami bez mechanických přestaveb.

Percepce: 2D/3D computer vision, hloubka, SLAM a scénové grafy

Percepce je vstupní vrstva, která má zásadní vliv na robustnost. Důležité stavebnice:

2D a 3D zrak

• Detekce a segmentace: instance/semantická segmentace oddělí objekt od pozadí; open-vocabulary detekce dovolí „najdi věc popsanou slovy“.
• Odhad pózy a keypointů: pózy nástrojů a končetin, 6D pózy pro přesnou manipulaci, skeleton člověka pro bezpečný HRI.
• Hloubka: stereo, ToF, strukturované světlo, LiDAR; robustní „depth fusion“ pro lesklé a tmavé povrchy.
• Event kamery: extrémně nízká latence pro rychlé pohyby a nízké osvětlení.

SLAM a lokalizace

Simultánní lokalizace a mapování (vizuální/lidar/IMU fúze) vytváří mapu a polohu robota v ní. V dynamických prostorech pomáhá semantický SLAM – mapy s významem (regál A-12, stanice S3), nikoli jen „mraky bodů“.

Scénové grafy a persistentní paměť

Výstupy vize se ukládají do scénového grafu (objekty, vztahy, pózy). Ten slouží jako „world model“, do kterého se kotví jazykové pokyny i bezpečnostní pravidla. Robot pak chápe fráze typu „krabice vedle modrého koše“ a promítá je do přesných cílů v prostoru.

Kalibrace a synchronizace

Přesná extrinsická kalibrace (kamera↔robot↔svět) a časová synchronizace jsou podmínkou přesného uchopení i bezpečnostních zón. V praxi pomáhají periodické „self-checky“ a automatická re-kalibrace při změně chapadla či nástroje.

Řeč a jazyk: ASR, LLM a „grounding“ úloh do světa

Hlas a přirozený jazyk jsou nejpřirozenější rozhraní pro operátory i koncové uživatele. V robotice fungují ve třech krocích: rozpoznat (ASR), pochopit (NLU/LLM), převést na plán (task planner). Klíč je grounding – propojení slov s objekty a omezeními ve world modelu. Tím se předejde „mluvícím papouškům“, kteří nejednají.

• ASR/TTS on-device: u citlivých provozů je žádoucí běh bez cloudu (latence, soukromí, spolehlivost).
• LLM s doménovou znalostí: RAG nad manuály, SOP a mapami; generuje krokové plány s bezpečnostními guardraily.
• Dialog management: potvrzování záměru, vyjasňování nejednoznačností a oznamování omezení („povrch klouže, volím obchůzku“).

Pohyb a manipulace: plánování trajektorií, MPC a řízení sil

Pohyb je výstupní vrstva – a zároveň zdroj největších rizik. Proto se řídí ve vrstvách:

Hierarchie řízení

• Úloha: rozklad požadavku na dílčí kroky a cíle (pick, place, inspekce, navigace).
• Trajektorie: plánování v 3D s vyhýbáním kolizím (RRT*, CHOMP, STOMP, trajopt s omezeními).
• Kontakty a síly: impedance/admitance, kontrola momentů, citlivé „dosednutí“, skluz a páčení.

Model-predictive control (MPC) a whole-body control

MPC průběžně optimalizuje akce s ohledem na omezení (rychlosti, proudy, bezpečnostní zóny). U legged lokomoce (čtyřnožci) drží stabilitu i při náhlých perturbacích; u manipulace pomáhá bezpečně „cítit“ kontakt s objektem i člověkem.

Uchopování a taktilní vize

Syntéza uchopu kombinuje vizuální odhad grasp bodů s taktilní zpětnou vazbou. Pro deformovatelné předměty funguje adaptivní tlak a non-prehensilní strategie (přihrnutí, posuv). Dextere ruky umožní jemnou montáž, paralelní čelisti přinesou rychlost a robustnost – výběr je doménově závislý.

Navigace mobilních robotů (AMR)

AMR využívají SLAM, semantické mapy a lokální plánovače (DWA, TEB, MPPI). Při sdíleném provozu s lidmi uplatňují predikci trajektorií chodců a „sociální navigaci“ (ohleduplné míjení, předvídatelné pohyby, ukazatele záměru).

Multimodální fúze a „world model“: společný mozek pro vizi a akci

Jednotný „světový model“ propojuje percepci, jazyk a řízení. V praxi se kombinuje:

• Early fusion (společné embeddingy obrazu/textu/3D bodů) pro otevřené vyhledávání objektů podle slov.
• Late fusion (Bayes/filtry/neurální fúze) pro robustní rozhodování z různých senzorů s různou spolehlivostí.
• Persistentní paměť scény (TSDF/ESDF/okupační mřížky + scénové grafy) s verzováním a životním cyklem objektů.

„World model“ také nese bezpečnostní anotace (zakázané zóny, křehké objekty, lidské trasy) a pravidla (např. „při blízkosti člověka sniž rychlost a sílu“). Tyto anotace používají jak plánovače, tak LLM copilot při generování kroků.

Referenční architektura: senzory, výpočet, middleware a software

• Senzory: RGB-D kamery, LiDAR (2D/3D), IMU, taktilní senzory v chapadlech, síly/momenty na kloubech, mikrofony.
• Výpočet: on-device GPU/NPU pro vizi a řízení; edge server pro mapy/fleet; cloud pro trénink, simulaci a správu modelů.
• Middleware: ROS2 (DDS) či ekvivalent, real-time sběrnice, bezpečnostní PLC pro hard-stop a SIL funkce.
• Software: percepční stack (detekce/segmentace/pose), SLAM a semantické mapy, plánovače (trajopt, MPC), LLM copilot s RAG nad manuály/SOP, guardraily a audit.
• Sítě: TSN ethernet, Wi-Fi 6/7, privátní 5G v rozsáhlých areálech, QoS profily pro bezpečnostní telemetrii.

Průmysl 4.0: flexibilní buňky, kolaborativní roboty a vizuální inspekce

Ve výrobě přináší AI v robotice tři klíčové efekty: flexibilitu, kvalitu a bezpečnost.

Flexibilní buňky

3D vize a rychlé přeučení umožňují zvládat variabilitu dílů bez fixtur. Kolaborativní robot (cobot) s vizí „bere jak to přijde“, snižuje prostoje při změně varianty a minimalizuje náklady na přestavbu.

Vizuální inspekce

Defekty svařů a povrchů detekuje AI i v proměnlivém osvětlení; syntetická data pokrývají vzácné závady. Robot na pojízdné plošině (nebo čtyřnožec) obsluhuje těžko přístupná místa bez odstávek.

Kolaborace s člověkem

Bezpečnostní supervizor, detekce pózy člověka a „prediktivní trajektorie“ umožňují robotu plynule ustoupit, zpomalit nebo přerušit. Jazykem lze jemně ladit toleranci („povol o 0,3 Nm, je křehké“).

Logistika: AMR flotily, vychystávání long-tailu a poslední míle

Ve skladech a distribučních centrech AI řeší dynamiku a nepředvídatelnost:

• AMR navigace a fleet: semantické mapy, priority vychystávání, dynamické přidělování úkolů, vyhýbání zácpám.
• Pick-and-place: uchopování z „chaos“ beden, deformovatelné balíčky, čtení etiket a validace obsahu.
• Depaletizace: vize rozpozná vzory, počty a orientace; hybridní strategie s vibračním uvolněním vrstev.
• Poslední míle: doručovací roboty a drony s multimodální percepcí (přechody, chodci, otevřené dveře, výtahy).

Služby a zdravotnictví: asistence, transport a bezpečnost

V nemocnicích a hotelech se prosazují roboti pro transport materiálu, dezinfekci, úklid a doprovod. Hlasové rozhraní je přirozené a hygienické; robot potvrzuje pochopení a oznámí omezení („výtah obsazen, volím trasu B“). Bezpečnost a soukromí řeší on-device zpracování obrazu a zvuku a přísná přístupová politika.

AgriTech a stavebnictví: autonomie v terénu

V terénu dominují proměnlivé podmínky a rizika. AI v robotice umožní:

• Precizní zásahy: odlišení plodu, listu a plevele; dávkování pouze tam, kde je to nutné.
• Sklizeň a třídění: jemné uchopení, odhad zralosti; adaptivní trasy po svahu.
• Staveniště: rozpoznání materiálů a cest, monitoring bezpečnosti, noční hlídky a dokumentace postupu.

Případová inspirace: Boston Dynamics (mobilita a inspekce)

Čtyřnožci pro inspekci (např. Spot) ukazují, že dynamická lokomoce v nerovném terénu, po schodech či štěrku může být rutinní. Fúze vize, IMU a optimalizačního řízení udrží stabilitu; percepční stack plánuje kroky a detekuje překážky. V praxi robot provádí obchůzky, snímá tepelné/viditelné indikátory, čte manometry a rozpoznává odchylky. Nasazení šetří odstávky a zvyšuje bezpečnost (méně práce ve výškách/uzavřených prostorách).

Případová inspirace: Tesla Bot (humanoid a end-to-end učení)

Humanoidní robot cílí na prostředí přizpůsobené člověku (schody, kliky, nářadí). Směr „vision-language-action“ slibuje rychlé přeučení dovedností: kamery a 3D model scény, jazykové instrukce, politiky generující stabilní kroky a uchopy. I když je humanoid technicky náročný (stabilita, energetika, certifikace), konvergence modelů a hardware ukazuje, že obecnější robotické dovednosti lze učit a sdílet široce.

Simulace, syntetická data a sim-to-real

Simulace je bezpečná „laboratoř“ pro učení a testy. Kombinuje se:

• Fyzikálně věrná simulace pro kontakty, tření a deformace; kalibrace proti reálným měřením.
• Domain randomization pro robustnost na proměnlivé světlo, povrchy a rozměry.
• Syntetická data pro vzácné defekty, extrémní stavy a simulační videa.
• Learning from demonstration – operátor ukáže správný postup, model zobecní.

Sim-to-real mezera se zmenšuje kombinací robustních featur, adaptivních vrstev a cíleného sběru reálných „corner cases“.

On-device AI, edge a cloud: latence, soukromí a náklady

Rozmístění výpočtu určuje latenci, spolehlivost a náklady:

• On-device: bezpečnostní smyčky, řízení pohybu, rychlá vize a lokální ASR.
• Edge: flotilové mapy, plánování úloh, těžší vize/jazyk pro více robotů v areálu.
• Cloud: trénink modelů, správa verzí, dlouhodobá analýza a digitální dvojče.

Hybrid dává nejlepší poměr rychlost/soukromí/cena. Kritické rozhodování nikdy nesmí záviset na internetu; plánování flotily a učení může běžet mimo roboty.

Bezpečnost, normy a etika: jak navrhnout bezpečný provoz

Bezpečnostní rámec stojí na třech pilířích: technickém, procesním a etickém. Technicky jde o vícevrstvou ochranu (detekce lidí a překážek, geofencing, hard-stop, redundantní senzory, bezpečnostní PLC). Procesně o risk assessment, validaci, školení a audit. Eticky o transparentnost snímání, minimalizaci dat a srozumitelná odpovědnost.

• Kolaborace: omezení rychlosti a síly při blízkosti člověka, detekce pózy, směrové signalizace záměru.
• Cybersecurity OT: segmentace, aktualizace, podepisování modelů a politik, auditní logy a incident playbook.
• Soukromí: on-device zpracování obrazu/řeči tam, kde je to nutné; maskování citlivých oblastí.

Integrace s IT/OT: MES/ERP/WMS, digitální dvojčata a telemetrie

Robot musí znát priority a kontext. Integrace obvykle zahrnuje:

• ERP/MES/WMS: objednávky, receptury, lokace zboží, plán změn.
• Digitální dvojče: virtuální závod/sklad s aktuální mapou a stavem robotů; test scénářů bez rizika.
• Provozní bus: OPC UA/MQTT/REST pro příkazy, události a telemetrii; řízení přístupů a verzování API.

RoboOps a MLOps: telemetrie, A/B politik a bezpečné releasy

Životní cyklus modelů a politik v robotice je nepřetržitý. Potřebujete:

• Telemetrii (latence, úspěšnost úchopů, kolize, falešné zastávky, využití baterie).
• Monitoring kvality (precision/recall pro detekci, drift vstupů, degradace v čase).
• A/B a canary releasy politik s „kill switch“ a rollbackem.
• Audit – kdo schválil nasazení, jaké testy proběhly, kdy a proč se zastavilo.

Ekonomika a KPI: jak měřit přínos robotiky řízené AI

Bez čísel zůstane robotika „hezkou show“ bez rozpočtu. Doporučené metriky:

• Průmysl: OEE, čas cyklu, výtěžnost, zmetkovitost, doba přestavby, incidenty bezpečnosti.
• Logistika: pick-rate, přesnost, out-of-stock handling, využití flotily, průměrná doba doručení.
• Služby: SLA, čekací doby, spokojenost, počet eskalací k člověku.

ROI zohledňuje úsporu práce, snížení prostoje a škod, zvýšení kvality a nové schopnosti (inspekce bez odstávek, práce v noci). Počítejte TCO: robot/hardware, údržba, software/licence, integrace, validace bezpečnosti, průběžné učení modelů a RoboOps.

Roadmapa adopce: od PoC k robustní produkci

Nejúspěšnější týmy dodržují jednoduchý rytmus:

• PoC: jasná metrika (např. pick-rate, přesnost inspekce), bezpečnostní sandbox, evidence výsledků.
• Pilot: integrace s WMS/MES, provoz v definovaných směnách, definované „exit“ podmínky.
• Produkce: SLA, observabilita, plán releasů modelů, školení obsluhy, plán škálování flotily.

Každá fáze končí evidence packem (výsledky, bezpečnostní ověření, dopad na procesy), který usnadní audit i další investiční rozhodnutí.

Rizika a slepé uličky: jak se jim vyhnout

• Podcenění dat a kalibrace: bez kvalitní kalibrace a synchronizace klesá přesnost a roste riziko.
• Overfitting na demo scénář: robot brilantně řeší jedinou situaci; v praxi padá na „variace“.
• Chybějící guardraily: LLM bez groundingu a pravidel může generovat nebezpečné kroky.
• Izolovaná implementace: bez ERP/MES/WMS integrace robot nezná priority, fronty a SLA.
• Slabá RoboOps disciplína: bez telemetrie a bezpečných releasů se kvalita rychle rozpadne.

Trendy: foundation modely pro robotiku, taktilní vize a swarming

• Vision-Language-Action (VLA) modely: sdílené dovednosti napříč úlohami a platformami, rychlejší učení z videí a demonstrací.
• Diffusion policy a visuomotor transformery: plynulé manipulace v neznámých konfiguracích.
• Taktilní vize: optické taktilní senzory dávají „zrak do prstů“ – jemná montáž bez poškození.
• Swarm/flotilová inteligence: sdílení zkušeností, decentralizované plánování, odolnost proti výpadkům.
• Udržitelnost: kvantizace modelů, úsporné plánování výpočtu, chytré nabíjení flotil a re-use tepla z edge serverů.

Závěr: AI v robotice jako praktická konkurenční výhoda

Konvergence computer vision, řeči a pohybu mění robotiku z nástroje pro izolované buňky na adaptivní platformu pro výrobu, logistiku i služby. Multimodální roboti, kteří umí vidět, rozumět a jednat v nestrukturovaném světě, zvyšují flexibilitu, kvalitu a bezpečnost – a zároveň otevírají nové provozní možnosti (inspekce bez odstávek, noční provoz, práce v riziku). Úspěch stojí na několika pilířích: přesné percepci a „world modelu“, disciplinovaném řízení pohybu a sil, jazykovém rozhraní s robustním groundingem, bezpečné architektuře a integraci do IT/OT, telemetrii a RoboOps, a na metrikách, které prokazují byznys dopad. Kdo tyto stavebnice spojí do koherentního systému, promění robotiku řízenou AI v trvalou konkurenční výhodu – rychlejší inovaci, nižší náklady, vyšší bezpečnost a lepší zákaznickou zkušenost.