Generativní umělá inteligence se rychle stává novou vstupní branou ke zdravotním informacím. Pro řadu lidí je dnes prvním místem, kam se obracejí s dotazem, ještě před telefonátem s lékaři nebo návštěvou odborného webu. Otázka už proto nezní, jak rychle AI odpovídá, ale jak bezpečně.
Zjištění britského deníkuThe Guardian upozornilo, že funkce AI Overviews společnosti Google v některých případech nabízela u témat duševního zdraví nepřesné či zavádějící odpovědi. Reakcí je zahájení práce mezinárodní expertní komise, která bude mít rok na posouzení dopadů generativní AI na oblast duševního zdraví a navrhnout zásady jejího bezpečného využívání.
Když generativní souhrn působí jako závěr
AI Overviews jsou automaticky generované souhrny, které Google zobrazuje nad běžnými výsledky vyhledávání. Podle zjištění Guardianu však některé odpovědi týkající se psychóz, poruch příjmu potravy a dalších citlivých témat obsahovaly zjednodušení či zavádějící formulace bez potřebného kontextu.
Problém ale není jen v nepřesnosti. Text generovaný umělou inteligencí působí totiž sebejistě a autoritativně. Tím vytváří dojem odborného stanoviska, i když jde o pravděpodobnostní odpověď bez znalosti konkrétní situace a bez lékařského posouzení.
| Google AI Overviews je funkce vyhledávače Google, která pomocí generativní umělé inteligence vytváří automatické odpovědi na dotazy uživatelů. Souhrny se zobrazují nad klasickými výsledky vyhledávání a nabízejí stručná, srozumitelná shrnutí bez nutnosti otevírat jednotlivé webové stránky. Systém přitom kombinuje informace z různých online zdrojů a generuje nový text s cílem umožnit rychlou orientaci v tématu. Právě tento model však mění samotnou architekturu informačního prostředí. Zatímco dříve uživatel porovnával více zdrojů a získával širší kontext, nyní dostává jediný souhrn, který může působit jako konečné vysvětlení. Slábne tak role odborných portálů i zdravotnických institucí a výklad informací se přesouvá na algoritmus. V oblasti digitálního zdravotnictví jde o zásadní posun v tom, kdo formuje zdravotní rozhodování veřejnosti a kdo za něj nese odpovědnost. |
Rozsah nasazení mění význam chyby
Rozhodující je měřítko. V prostředí, kde se jeden algoritmus stává primárním zdrojem informací pro obrovské množství lidí, i drobná chyba může mít reálné následky. Stačí, aby se uživatel pod vlivem sebejistě formulované odpovědi rozhodl odložit návštěvu lékaře a technologická chyba se mění ve zdravotní riziko. Generativní model, který tak přestává být jen nástrojem pro vyhledávání informací, vstupuje do prostoru, který byl dosud vyhrazen klinickým úsudkům.
Google po zveřejnění zjištění u části zdravotních dotazů funkci AI Overviews stáhl a uvedl, že do zvyšování kvality systému dlouhodobě investuje. U dotazů naznačujících krizovou situaci zobrazuje kontakty na místní krizové linky. Podrobnější vysvětlení ke konkrétním případům však společnost neposkytla.
Mezinárodní expertní komise a hledání pravidel
Vznikající mezinárodní komise má propojit klinické odborníky, specialisty na duševní zdraví, lidi s vlastní zkušeností, tvůrce veřejných politik i technologické firmy. Jejím cílem není inovace zastavit, ale nastavit jasné mantinely pro jejich bezpečné využívání.
Debata se zaměří na klíčovou otázku: kdy se z pouhé informační služby stává faktický zásah do zdravotního rozhodování. Komise má definovat, jaké bezpečnostní mechanismy jsou nezbytné a jakou roli má při návrhu těchto systémů hrát zkušenost pacientů. Půjde o první systematický pokus vytvořit rámec odpovědnosti pro generativní nástroje, které mohou ovlivňovat zdravotní volby lidí, aniž by byly oficiálně klasifikovány jako zdravotnické prostředky.
Regulace mezi informací a zdravotnickým zásahem
Současná legislativa tuto situaci řeší jen částečně. Pokud je systém vnímán jako pouhá informační služba, může zůstat mimo režim zdravotnických prostředků. Pokud však jeho výstupy reálně ovlivňují zdravotní rozhodování, dostává se do kategorie vysoce rizikových technologií.
Na úrovni EU vstupuje do hry AI Act, který stanovuje přísnější pravidla pro vysoce rizikové aplikace a klade důraz na transparentnost a řízení rizik. Není však jasné, zda budou generativní zdravotní souhrny považovány za nástroje s dopadem na zdraví.
V České republice zatím neexistuje výslovná úprava těchto odpovědí mimo regulované prostředky. Odpovědnost tak zůstává rozptýlená mezi poskytovatele technologie, provozovatele platformy a uživatele – právě tam, kde by měla být pravidla nejjasnější.
Test vyspělosti digitální medicíny
Debata, kterou otevřel The Guardian, není útokem na umělou inteligenci. Je spíše testem vyspělosti digitální medicíny. Pokud má být AI skutečným partnerem v péči nejen o duševní zdraví, musí její vývoj a nasazení podléhat obdobně přísným pravidlům jako jiné zdravotnické nástroje. To zahrnuje systematické hodnocení rizik, ověřování výstupů a jasné vymezení povinností.
Pro sektor digitálního zdravotnictví z toho plyne zřejmý závěr: inovace nemůže předbíhat ochranu pacienta. Bez důvěry veřejnosti totiž žádná technologie dlouhodobě neobstojí – bez ohledu na svou technickou vyspělost. Znamená to zavést jasná pravidla validace, auditovatelnosti a řízení rizik dříve, než se generativní nástroje stanou standardem.
S využitím zdroje The Guardian
Petr Moláček, digitalhealth.cz