Kurzor bliká v prázdném dokumentu. Zadáme téma, délku a tón. Než vystydne káva, máme titulek, úvod, deset mezititulků, tabulku i tři odpovědi na časté otázky. Text plyne, neopakuje stejné slovo a na první pohled vypadá hotově.
Jenže právě tady se mohou splést dvě různé věci: výroba vět a vznik poznání. První lze výrazně urychlit. Druhé začíná už před prvním odstavcem a pokračuje i po zveřejnění. Někdo musí položit otázku, zjistit, co se skutečně stalo, najít vhodné zdroje, porozumět jejich omezením, rozhodnout mezi rozpornými vysvětleními a opravit chybu, když se objeví.
Generativní AI může pomoci i s hledáním podkladů, porovnáváním vysvětlení nebo kontrolou návrhu. Samotný plynulý výstup ale neukazuje, zda tyto kroky proběhly a s jakým výsledkem. Důvěru potřebujeme opřít o něco, co lze ověřit.
Rychlejší psaní lze změřit. Co z výsledku plyne?
V předregistrovaném experimentu z roku 2023 dostalo 453 vysokoškolsky vzdělaných profesionálů psací úkoly odpovídající jejich profesím. Náhodně vybraná polovina získala přístup k ChatGPT. Ve srovnání se skupinou bez něj autoři zjistili pokles průměrného času o 40 procent a růst hodnocené kvality o 18 procent.
Výsledek se týká konkrétních, středně náročných profesních úkolů. Ukazuje, že se může zkrátit cesta od zadání k lépe hodnocenému textu. Neříká, o kolik AI urychlí terénní výzkum, zda odhalí skupinu opomenutou ve sběru dat ani jak spolehlivě bude udržovat návod po změně pravidel. Každý z těchto úkolů potřebuje vlastní ověření.
Jestliže redakce ušetřený čas využije na rozhovor, kontrolu dat a čtenářskou úpravu, nástroj může kvalitu podpořit. Jestliže však jen zvýší povinný počet výstupů, vznikne více hotově vypadajících stránek, ne nutně více užitečných odpovědí.
Povrchnost tu byla dřív než generativní AI
Obecné SEO články, tiskové zprávy bez zprávy, marketingové přehánění i kompiláty z několika zdrojů nevynalezly jazykové modely. Lidé dokázali psát texty určené hlavně k zaplnění prostoru dávno před nimi. Generativní nástroje změnily především cenu, rychlost a rozsah, v jakém lze podobné texty vyrábět.
Proto nefunguje jednoduché dělení na poctivý lidský obsah a povrchní obsah z AI. Člověk může bez ověření opsat první výsledek vyhledávání. Model může pomoci odborníkovi porovnat osnovy, hledat protiargumenty nebo převést složité vysvětlení do srozumitelnějšího jazyka. O původu a autorství má smysl mluvit; podrobněji je rozebírá článek Je to ještě moje práce?. Samotný původ věty ale neurčuje její pravdivost ani užitek.
Problém vzniká ve chvíli, kdy nízká výrobní cena začne nahrazovat důvod publikovat. Veřejná pravidla Googlu proti zneužívání masové tvorby obsahu míří na velké množství neoriginálních stránek vytvářených především kvůli manipulaci s pořadím, které čtenáři přinášejí malou nebo žádnou hodnotu. Platí bez ohledu na způsob vzniku; samotné použití AI za zneužití nepovažují.
Co nepoznáme z nadpisů, tabulek a délky
Nadpisy pomáhají najít odpověď. Tabulka může zpřehlednit rozdíly. FAQ zachytí otázku, které se hlavní text nevěnoval. Odkaz dovolí dohledat oporu. Každý z těchto prvků má smysl, ale každý lze vyrobit i bez skutečného obsahu.
Dlouhý článek může desetkrát zopakovat jednu myšlenku. Krátké upozornění může přesně říct, co se změnilo, koho se změna týká a co má člověk udělat. Pět citací může odkazovat na vzájemně opisující texty. Jediný dobře zvolený primární zdroj může stačit k úzce vymezenému faktu.
Hloubku proto neurčuje počet slov ani viditelných částí. Rozhoduje, zda práce za textem odpovídá otázce, na kterou má odpovědět. Někdy potřebujeme dlouhé vysvětlení různých možností. Jindy je nejpoctivější napsat tři věty a přiznat, že spolehlivější data nemáme.
Přínosem může být i nové vysvětlení známé věci
Představa „přidané hodnoty“ někdy sklouzne k požadavku, aby každý text obsahoval informaci, která ještě nikdy nikde nezazněla. Takové pojetí je zbytečně úzké a může odměňovat nápadnost místo přesnosti.
Původní rozhovor, vlastní měření, terénní pozorování nebo odborná zkušenost mohou přinést něco, co jinde není. Ani vlastní data však nejsou automaticky spolehlivá. Záleží na tom, koho jsme zahrnuli, na co jsme se ptali, jak jsme měřili a co jsme přehlédli.
Práce může být přínosná i tím, že:
- spojí více roztříštěných zdrojů a ukáže, kde se shodují a rozcházejí;
- přeloží odborný poznatek do jazyka člověka, který jej potřebuje použít;
- doplní kontext, bez něhož je správné číslo zavádějící;
- aktualizuje starý návod podle nových poznatků nebo po změně služby či pravidel;
- zpřístupní informaci lidem s jinými potřebami či zkušeností;
- opraví rozšířený omyl nebo přesně vymezí, co zatím nevíme.
Ne každá užitečná mapa objevuje nový kontinent. Její hodnota někdy spočívá v tom, že správně spojí existující cesty, označí uzavřený most a člověk podle ní skutečně dojde, kam potřebuje.
Zdroje nejsou ozdoba důvěryhodnosti
Generativní systém může vytvořit přesvědčivě vypadající tvrzení nebo citaci. NIST ve svém profilu rizik generativní AI popisuje konfabulace: věcně chybný nebo vnitřně rozporný výstup může být podán stejně sebejistě jako správná odpověď. Týká se to i odkazů a zdánlivých vysvětlení.
Samotná přítomnost odkazu proto neznamená, že je tvrzení ověřené. U důležitého tvrzení je potřeba zkontrolovat alespoň pět věcí:
- Zdroj skutečně existuje a pochází od uvedeného autora či instituce.
- Říká to, co mu text připisuje, nikoli jen něco podobného v titulku.
- Použitá metoda může odpovědět na danou otázku.
- Výsledek se vztahuje ke správné populaci, období a situaci.
- Zdroj stále odpovídá současnému poznání a platným pravidlům.
Audit čtyř generativních vyhledávačů z roku 2023 našel v jejich tehdejších odpovědích nepodložené věty i nepřesně přiřazené citace. Odkaz tedy mohl být skutečný, ale přiřazené tvrzení nepodporoval. Při kontrole potřebujeme otevřít zdroj a porovnat jej s konkrétní větou.
Lepší jednotlivý text, podobnější texty ve skupině
Rychlá pomoc může zlepšit jednotlivý výsledek a současně zúžit rozmanitost celé skupiny. V experimentu s 293 osmivětými příběhy mohli někteří pisatelé získat jeden nebo až pět námětů od GPT-4. Přístup k námětům zlepšil hodnocení kreativity, zpracování i čtenářského prožitku, zvlášť u lidí s nižším výsledkem vstupního testu slovních asociací. Příběhy ve skupinách s AI si však byly významově podobnější.
Pisatelé v tomto pokusu nemohli měnit zadání modelu ani s ním vést rozhovor. Výsledek se týká krátké fikce za těchto podmínek. Pro redakční práci přesto nabízí užitečnou otázku: liší se naše texty také výběrem témat, zdrojů a vysvětlení, nebo jen formulacemi? Jestliže všichni vyjdou ze stejného souhrnu a sady příkladů, mohou společně přehlédnout místní zkušenost nebo spor mezi zdroji.
Výběr tématu a zdrojů patří také k vlastnímu hlasu. Článek Když AI píše správně, ale ne za vás ukazuje, jak jej zachovat už při zadávání práce a výběru návrhů.
Viditelnost není osvědčení pravdy
Dobré pořadí ve vyhledávání může přivést čtenáře. Citace v generativní odpovědi může zvýšit viditelnost zdroje. Ani jedno ale není univerzální zkouška pravdivosti.
Výsledek závisí na konkrétním dotazu, jazyku, čase, indexu, produktu a způsobu výběru zdrojů. Věcně správný, ale nový či špatně dostupný dokument může zůstat stranou. Populární omyl může být dohledatelný velmi snadno. A platforma může své postupy změnit, aniž se změnila pravdivost původního textu.
Veřejná doporučení Googlu nabízejí otázky pro vlastní kontrolu: kdo obsah vytvořil, jak vznikl a proč byl vydán. Pracují také se zkušeností, odborností, uznávaností a důvěryhodností, označovanými zkratkou E-E-A-T. Ta podle dokumentace není jedním samostatným faktorem řazení výsledků. Průvodce pro AI prvky vyhledávání připomíná, že velký počet stránek sám nezvyšuje kvalitu ani relevanci.
Dobře dohledatelný zdroj tedy stojí za otevření, stejně jako méně známý dokument. Důvěru si získává tím, co dokládá a jak s podklady zachází.
Transparentnost pomáhá, ale není razítkem kvality
Kromě pravidel platných pro konkrétní práci záleží při přiznávání AI také na očekávání publika. Čí zkušenost v textu čtenář vidí? Mění použitý postup význam sdělení? A pomůže jeho popis výsledek ověřit?
Pokud model jen navrhl alternativní mezititulek, podrobný popis této pomoci nemusí čtenáři nic přinést. Jestliže však vytváří velkou část analýzy nebo se podílí na radě s vážnými následky, způsob vzniku je podstatnější. Popsat, co model navrhl, kdo ověřil podklady a kdo výsledek schválil, bývá srozumitelnější než obecné „vytvořeno s pomocí AI“.
Ani doložený původ však neurčuje, zda je obsah pravdivý. Přehled NIST o transparentnosti syntetického obsahu rozebírá metadata, označování, detekci i údržbu. Tyto nástroje mohou říct něco o tom, jak výstup vznikl. Kontrolu tvrzení za nás neprovedou.
Stejně problematický je opačný směr: odhadovat původ podle pomlčky, hladkého rytmu nebo jedné chyby. Proč povrchové znaky nejsou spolehlivým podpisem člověka ani stroje, ukazuje článek Lidská chyba není podpis.
Odpovědnost začíná před zveřejněním a nekončí jím
Hodnota obsahu se často posuzuje v okamžiku vydání. Jenže informační práce vydáním nekončí. Zdravotní doporučení se může změnit. Kontaktní místo zavře. Změní se zákon. Studie bude opravena. Někdo upozorní, že článek zaměnil zkušenost jedné skupiny za pravidlo pro všechny.
Důvěryhodný text proto potřebuje nejen zdroje, ale také někoho, kdo za něj odpovídá. Má být poznat, kdo rozhodl o vydání, kdy byl obsah naposledy zkontrolován, jak lze upozornit na chybu a co se stane potom. Někdy je nejlepší opravit jednu větu. Jindy přidat datum a omezení. Někdy je naopak nutné celý článek stáhnout, protože jeho hlavní opora neplatí.
Neviditelná práce může být právě tou nejcennější: odmítnutý efektní údaj bez původní metodiky, vynechaný příběh bez souhlasu, titulek změněný proto, že sliboval víc než text, nebo rozhodnutí nevydat připravený návrh. Počet publikovaných kusů tuto kvalitu nezachytí.
Pět otázek před tlačítkem Publikovat
Neexistuje jediná metrika hloubky. Několik otázek ale rychle ukáže, zda text stojí na informační práci, nebo pouze na dokončeném formátu.
| Otázka | Co prověřuje |
|---|---|
| Co má čtenář po textu chápat nebo dokázat lépe? | skutečný účel místo pouhého tématu |
| Která tvrzení jsou ověřitelná a z čeho vycházejí? | vztah mezi větou a důkazem |
| Co je původní zjištění, co syntéza a co interpretace? | poctivé rozlišení přínosu |
| Co by mohlo závěr změnit a koho jsme nezahrnuli? | hranice, nejistotu a slepá místa |
| Kdo text opraví a podle čeho pozná, že zestárl? | odpovědnost po vydání |
Tyto otázky lze položit textu, jehož první návrh napsal člověk, textu s podporou AI i plně automatizovanému výstupu. Nástroj může pomoci najít slabé místo nebo nabídnout protiargument. Odpovědi však nakonec musejí vycházet ze skutečných podkladů, ne z toho, co si o nich nástroj plynule domyslí.
Co zbude po zavření stránky
Generativní AI zkrátila cestu od prázdné stránky k plynulému návrhu. To je skutečná změna a v mnoha situacích užitečná. Nezrušila však rozdíl mezi větou, která zní správně, a tvrzením, pro které máme dobrý důvod.
Po zavření stránky by měl čtenář něčemu lépe rozumět, umět se rozhodnout nebo vědět, kde hledat dál. K tomu může posloužit původní zjištění i přesná syntéza, dlouhé vysvětlení i krátká oprava. Ověřitelné podklady a možnost napravit chybu dávají takovému přínosu pevnější základ.
Text může vzniknout za minutu. Ušetřený čas má cenu i tím, co s ním uděláme: přečteme původní studii, ověříme sporný údaj nebo zavoláme člověku, jehož zkušenost v návrhu chybí.
