Odpověď přijde během několika sekund. Má jasné odstavce, klidný tón a konkrétní doporučení. Chatbot například radí vysadit lék, odejít ze vztahu, podepsat smlouvu nebo investovat peníze. Člověk podle něj jedná a teprve později zjistí, že doporučení bylo chybné. Nástroj neznal podstatnou okolnost, přehlédl část dokumentu nebo si vytvořil vysvětlení, které neodpovídá skutečnosti.
Kdo za následek odpovídá? Firma, která vyvinula model? Provozovatel aplikace? Nemocnice či poradna, která nástroj nabídla? Odborník, který výstup převzal? Nebo uživatel, který se rozhodl poslechnout? Na vzniku škody se jich mohlo podílet více. Potřebujeme zjistit, kdo udělal které rozhodnutí, co služba slibovala a jak se její odpověď proměnila ve skutečný krok.
Kdo stojí mezi modelem a člověkem, který podle rady jedná
Generativní systém nevzniká sám. Někdo vybral data a způsob učení, nastavil bezpečnostní pravidla, vytvořil aplikaci, napsal popis služby a určil, zda se má používat pro zábavu, orientaci, zákaznickou podporu nebo odbornou práci. Další organizace jej může zapojit do vlastního procesu a zaměstnanec může výstup převzít, upravit nebo odmítnout.
Také uživatel přináší otázku, část kontextu a rozhodnutí, co udělá dál. Někdy si otevře veřejný chatbot sám. Jindy mu automatické doporučení předloží banka, škola, zaměstnavatel nebo zdravotní služba jako součást vlastního jednání. Tyto situace nevytvářejí stejná očekávání ani stejnou odpovědnost.
Proto je přesnější sledovat celý řetězec:
- kdo vytvořil model a kdo konkrétní službu;
- kdo zvolil účel a prostředí použití;
- kdo měl výstup zkontrolovat a zda k tomu měl čas, znalosti a pravomoc;
- kdo rozhodnutí sdělil člověku a pod čím jménem;
- co člověk mohl rozumně poznat a ověřit;
- jaká škoda vznikla a čím byla způsobena.
„Kdo ručí“ může znamenat čtyři různé otázky
V běžné řeči se odpovědnost snadno slije do jednoho slova. Můžeme se však ptát, kdo vysvětlí chybu, kdo ji napraví, kdo porušil profesní či organizační povinnost a kdo má právně nahradit škodu. Odpovědi se nemusí překrývat.
Provozovatel může opravit systém, i když není prokázaný právní nárok na odškodnění. Lékař, poradce nebo pracovník banky může nést profesní odpovědnost za vlastní postup, přestože chybný návrh původně vytvořil externí nástroj. Uživatel mohl něco přehlédnout, aniž tím automaticky zmizela vada služby nebo klamavý způsob, jakým byla nabízena.
Evropský AI Act stanovuje vybraným poskytovatelům a organizacím požadavky na bezpečnost, dokumentaci a informování lidí. Sám však podle výkladu Evropské komise nevytváří právo na náhradu škody. Případný nárok se opírá o jiné právní předpisy použitelné na danou situaci, například pravidla smluvní, spotřebitelské či profesní odpovědnosti. Pro jeho posouzení je potřeba doložit okolnosti služby, vzniklou újmu a souvislost s jednáním konkrétního člověka nebo organizace.
Co služba umí a co o sobě slibuje
Poskytovatel modelu nebo aplikace rozhoduje o tom, co systém umí, jaké má pojistky, co o jeho omezeních sdělí a jaké používání podporuje. Rozdíl je, zda službu představuje jako pomoc při formulaci otázek, nebo jako spolehlivého odborníka, jehož doporučení není potřeba ověřovat.
Upozornění „AI se může mýlit“ pomáhá nastavit očekávání, samo však nemusí napravit způsob, jakým služba člověka vede. Malý šedý text může snadno zapadnout vedle odpovědí, které používají lékařský jazyk, znějí jako definitivní doporučení a vybízejí přímo k rizikovému jednání. Při posuzování služby proto záleží i na tom, jak její nabídka, odpovědi a ovládání působí dohromady.
Od 2. srpna 2026 se v EU uplatňují některé nové povinnosti AI Actu v oblasti transparentnosti: člověk má při přímé interakci vědět, že komunikuje s AI, pokud to není zřejmé. Transparentnost však není totéž co správnost. Označený chatbot může stále podat chybnou radu a viditelná informace sama neurčuje, kdo odpovídá za následek.
Organizace rozhoduje, k čemu výstup použije
Model může navrhnout text. Organizace rozhoduje, zda jej použije k odpovědi na běžný dotaz, k výběru uchazeče, k posouzení klienta nebo jako podklad pro zdravotní či finanční rozhodnutí. Určuje také, zda člověk dostane možnost obrátit se na pracovníka a zda tento pracovník smí automatický návrh změnit.
U vysoce rizikových systémů AI Act vyžaduje, aby systém umožňoval účinný lidský dohled. Pověřený člověk má rozumět jeho schopnostem a omezením, počítat s tendencí příliš mu věřit a mít možnost výstup ignorovat či změnit nebo systém bezpečně zastavit. Podle znění po novele z července 2026 se tyto požadavky začnou obecně používat 2. prosince 2027 u vysoce rizikových použití podle přílohy III a 2. srpna 2028 u systémů navázaných na regulované výrobky podle článku 6 odst. 1. Zařazení závisí na účelu a zákonných podmínkách; běžný chatbot není automaticky vysoce rizikový systém.
Pro posouzení postupu organizace má už nyní smysl zjistit, kdo výstup kontroloval, zda měl čas a znalosti k rozpoznání chyby a zda směl doporučení odmítnout. Samotný podpis pod hotovým výsledkem o kvalitě kontroly mnoho neříká. Věta „to spočítal počítač“ zase nevysvětluje, proč organizace zvolila právě tento nástroj a způsob jeho použití.
Co musí při použití nástroje posoudit odborník
Lékař může využít software při práci s dokumentací, právník při hledání argumentů a finanční poradce při porovnávání možností. Nástroj může zrychlit přípravu a upozornit na něco, co by člověk jinak přehlédl. Profesní úsudek však nevzniká pouhým přeposláním výstupu klientovi.
Odborník zná nebo má zjišťovat konkrétní okolnosti, rozpoznat hranice své kvalifikace a vysvětlit, z čeho doporučení vychází. Pokud výstup nekontroluje, používá jej mimo určený účel nebo nemá pravomoc jej odmítnout, je to důležitá vlastnost celého procesu, nikoli důkaz, že odpovědnost převzal stroj.
WHO upozorňuje, že jazykové modely mohou ve zdravotních tématech vytvářet autoritativně a věrohodně znějící odpovědi se závažnými chybami. Plynulý jazyk proto nesmí být náhradou klinického ověření, znalosti pacienta ani práce s citlivými údaji.
Uživatel rozhoduje o dalším kroku, ale není vždy jediným odpovědným
Když si člověk nechá navrhnout seznam otázek pro lékaře, používá AI jinak než tehdy, když podle ní bez konzultace vysadí předepsaný lék. Když si nechá vysvětlit pojem ve smlouvě, je to jiná situace než podpis velkého závazku jen podle shrnutí, které nemusí znát celý dokument.
Uživatel má možnost upravit otázku, žádat zdroj, porovnat výstup s dokumentem a u závažné věci vyhledat vhodného člověka. Tato možnost ale není nekonečná. Nemusí poznat skrytou chybu, nemá přístup k vývoji systému a může službu používat právě proto, že byla nabízena jako bezpečná či odborná.
Při posuzování podílu uživatele záleží na tom, jaké ověření bylo v dané situaci reálně možné a přiměřené. Podstatné může být, zda ignoroval srozumitelné upozornění před nevratným krokem, nebo zda mu banka či nemocnice předložila automatické doporučení jako součást vlastní odborné služby. Stejně vypadající odpověď může v těchto prostředích budit různou míru důvěry.
Jakou kontrolu potřebuje rozhodnutí o zdraví nebo úsporách
Ne každá nepřesnost potřebuje stejnou kontrolu. Návrh názvu soukromého seznamu lze snadno změnit. Následky změny dávky léku, zmeškané právní lhůty, převodu úspor nebo obvinění partnera už nemusí být možné napravit. Míra ověření má růst s možnou škodou, nevratností, časovým tlakem a tím, jak málo systém zná konkrétní situaci.
Praktická kontrola může mít tři stupně. U malého a vratného kroku stačí přečíst výstup a použít vlastní úsudek. U významného tvrzení je potřeba otevřít původní dokument nebo autoritativní zdroj a zkontrolovat, zda říká totéž. Pomoci může návod, jak ověřit informaci bez hodinového pátrání. U rozhodnutí s vysokými následky je namístě člověk, který má příslušnou odbornost, odpovědnost a přístup k celému případu.
Při ověřování nestačí požádat stejný chatbot, aby svou odpověď potvrdil. Může zopakovat tutéž chybu a přidat věrohodně vypadající odkaz. Zdroj je potřeba skutečně otevřít, zkontrolovat jeho datum a porovnat tvrzení s původním textem. Celou zdravotní dokumentaci nebo citlivé smlouvy přitom nevkládejte do další neprověřené služby.
Jistý tón sám není důkaz. Jak snadno si plynulost spleteme se znalostí, rozebírá také článek Když jistota předběhne znalosti.
Když rada už způsobila škodu
Nejdříve je potřeba omezit další újmu. Zdravotní komplikaci řešte se zdravotníkem, podezřelou finanční transakci ihned s bankou přes její ověřený kontakt a blížící se právní lhůtu s kvalifikovanou právní pomocí. Další rozhovor s chatbotem může naléhavou pomoc zdržet.
Jakmile to situace dovolí, uchovejte znění otázky a odpovědi, datum, název služby a případně verzi, dostupná upozornění, dokumenty, z nichž se vycházelo, a popis toho, kdo výstup použil. Ve firmě či instituci mohou být důležité také pokyny pracovníkům, schvalovací kroky a možnost lidského přezkumu. Uchovávejte původní podklady a jejich kopie předávejte bezpečnou cestou příslušné instituci či poradci; citlivé údaje není nutné zveřejňovat v příspěvku na síti.
Provozovateli služby lze nahlásit chybu, organizaci, která výstup použila, žádat o vysvětlení a přezkum postupu. Při podezření na profesní pochybení může přicházet v úvahu příslušný profesní či dozorový orgán. S výběrem dalšího postupu ve spotřebitelském sporu může pomoci spotřebitelská poradna, s posouzením nároku na náhradu škody právník. Oprava služby, vyřízení stížnosti a odškodnění jsou různé výsledky; jeden nemusí automaticky zajistit ostatní.
Pro objasnění škody je potřeba spojit původní odpověď s tím, co se podle ní skutečně stalo. Kdo ji doporučil použít? Kdo ji mohl zkontrolovat? Co o službě věděl uživatel? Kde bylo možné chybu zachytit? Tyto otázky pomáhají určit podíl jednotlivých lidí a organizací a zároveň ukazují, co změnit, aby další člověk nedostal stejnou nebezpečnou radu.
