Možnosti a omezení AI: špatná data, nekritické myšlení a zdánlivá autorita

Předchozí díly ukázaly, jak model vzniká, jak se učí a jaké druhy AI existují. Tento je o tom, kde to selhává - a proč se to nedá vyřešit tím, že si pořídíte lepší model.

Začněme spravedlivě, protože přeceňovat i podceňovat stojí stejné peníze.

První nebezpečí: nekvalitní data

Pokud paměť - lidská nebo počítačová - obsahuje nepravdivá data, bude jak člověk, tak umělá inteligence tvrdošíjně tvrdit, že Země je placatá. A je jen na nás, jestli tomu uvěříme.

Toto je nepravda, o které je vypravěč v dobré víře přesvědčený. U člověka bychom mluvili o osobním přesvědčení plynoucím z vlastní zkušenosti. U modelu je to totéž, jen zdroj té zkušenosti napsal někdo jiný.

Praktický důsledek: model neumí odlišit „tohle jsem viděl tisíckrát" od „tohle je pravda". Frekvence není pravdivost - jenže statisticky se chová úplně stejně.

Druhé nebezpečí: nekritické myšlení

Druhý zásadní nedostatek - opět u člověka i u AI - je způsob, jakým se přemýšlí a vyhodnocuje. Konkrétně dvě věci:

1. Jak (ne)kriticky se vstupní data přijímají. Je model naučený data jen přijímat, nebo je umí ověřovat? Jak kvalitní to ověření je a jaké postupy k tomu používá? U většiny běžného použití je odpověď „skoro žádné".
2. Jak dobře bylo pochopeno zadání. Stejně jako knihovnice nemusí být model na určitý typ zadání dobře připravený. Některým pojmům porozumí úplně jinak, než jsme mysleli - a nedá to nijak najevo, protože o tom sám neví.

Model se nezeptá „myslíš tohle, nebo tamto?".
Vybere si jednu možnost a odpoví na ni tak, jako by žádná druhá nebyla.

Třetí nebezpečí: zdánlivá autorita

A pak je tu ještě jeden způsob, jak nepravdu podpořit. Tento se od prvních dvou liší v jedné podstatné věci.

Stejně jako máme mezi lidmi sňatkové podvodníky a skvělé řečníky, i umělá inteligence umí pravdivá i nepravdivá data zabalit do uvěřitelného příběhu a dát tomu vážený, důvěryhodný tón. Takový, že tomu uvěříte mnohem snadněji.

Špatná data a nepochopené zadání se dají odhalit, když si dáte práci. Zdánlivá autorita působí přesně na to, aby vás nenapadlo si tu práci dát.

Je to ta věta, po které si řeknete „no jasně, to zní rozumně" - a jdete dál. U člověka vás varuje řeč těla, zaváhání, něčí pověst. U modelu nic z toho není. Každá odpověď má stejný tón: klidný, kompetentní, hotový.

Co se změnilo: agenti to zhoršili i zlepšili

Neschopnost ověřovat si data začínají řešit AI agenti s přístupem na internet - model si fakt dohledá, místo aby ho odhadl. To je skutečné zlepšení.

Přináší to ale nové riziko. Běžný chatbot může sebevědomě halucinovat, tedy vymyslet si neexistující fakt, a stojí vás to jednu opravu. Když stejnou chybu udělá agent, začne na ní stavět další kroky. Chyba se zřetězí - mluví se o zesílených halucinacích - a agent třeba odešle e-mail s chybným termínem dřív, než si toho vůbec všimnete.

Čím samostatnější nástroj, tím dražší jeho omyl.
AI je mocný pomocník, který ke své práci bezpodmínečně potřebuje dohled člověka.

Co s tím prakticky

Toto není výzva k nedůvěře. Nedůvěra je stejně nepoužitelná jako slepá víra - obojí vás připraví o užitek. Použitelné je vědět, kde přesně dohlédnout.

1. Ověřujte to, co má následky. Ne všechno. Čísla, jména, data, citace, právní a smluvní tvrzení - tam ověřujte vždy. Formulaci odstavce ne.
2. Ptejte se na zdroj a otevřete ho. Odkaz, který jste neotevřeli, není ověření. Model umí vymyslet i odkaz.
3. Nechte model hledat protiargument. „Co mluví proti tomuhle závěru?" je nejlevnější způsob, jak z jednostranné odpovědi udělat použitelnou.
4. U agenta zastavte krok, který nejde vzít zpět. Odeslání, smazání, platba, publikace. Tam patří člověk, i kdyby všechno ostatní běželo samo.
5. Sledujte vlastní pocit jistoty. Když nemáte pochybnost, není to důkaz správnosti. Často je to jen důkaz toho, že text byl dobře napsaný.