Jedna zpráva přináší nadějný výsledek, další ho zdánlivě obrací naruby. Obě se odvolávají na vědce. Člověk pak snadno získá dojem, že si může vybrat studii podle svého názoru, protože výzkum stejně pokaždé říká něco jiného.
Představme si rodiče, který čte o školním preventivním programu. Jedna zpráva tvrdí, že dětem pomáhá. Druhá uvádí, že se jeho účinek nepotvrdil. Má rodič program podpořit, nebo odmítnout? Nejdřív potřebuje zjistit, zda obě práce vůbec odpovídají na stejnou otázku. Právě tento krok často rozhodne, jestli před námi stojí skutečný rozpor.
Stejné téma ještě není stejná otázka
Ve zvoleném příkladu může první práce měřit znalosti žáků bezprostředně po programu. Druhá sleduje jejich chování o rok později. Lepší znalosti a nezměněné chování mohou nastat současně. Dvě studie pak mohou být správné, i když jejich stručná shrnutí působí jako protiklady.
Při porovnávání pomáhá několik obyčejných otázek. Koho výzkumníci sledovali? Co lidé dostali nebo zažili? S čím to porovnávali? Jak dlouho čekali na výsledek? A co přesně považovali za zlepšení? Odpověď „zkoumali prevenci“ je příliš široká. Stejně jako odpověď „zkoumali vliv telefonu“ nebo „zkoumali pomoc rodinám“.
Roli může hrát i podoba samotné pomoci. Jednorázová beseda a celoroční práce se třídou nejsou zaměnitelné jen proto, že nesou podobný název. Než začneme hledat chybu v závěru, potřebujeme vědět, co se pod společným označením skutečně odehrálo.
O kolik se něco změnilo a jak jistě to víme
Další záměna vzniká mezi velikostí účinku a jistotou, s níž jej odhadujeme. Statisticky významný výsledek není automaticky velký nebo prakticky důležitý. Americká statistická asociace upozorňuje, že samotná p-hodnota velikost ani důležitost účinku neměří. Je to jeden z nástrojů pro posouzení dat v určitém statistickém modelu, nikoli známka kvality celé studie.
Vedle odhadu proto potřebujeme znát i jeho nejistotu. Tu často vyjadřuje interval spolehlivosti. Ukazuje, jak široké rozpětí účinků zůstává slučitelné s daty, pokud platí předpoklady použitého postupu. Široké rozpětí může připouštět podstatný přínos i žádný účinek. Úzké rozpětí kolem nuly naopak může mluvit proti velkému přínosu. Ani jedno samo neřeší chyby v měření nebo nevhodně zvolenou srovnávací skupinu.
Vezměme si čistě vymyšlený příklad: dvě studie odhadnou podobné zlepšení, jedna však mnohem přesněji. První vyjde jako statisticky průkazná, druhá jako neprůkazná. Jejich odhady přitom nemusí být ve sporu. Statistici Andrew Gelman a Hal Stern popsali právě chybu, kdy rozdíl mezi těmito dvěma nálepkami zaměníme za doložený rozdíl mezi výsledky.
Co ukazuje příklad pomoci rodinám ve Flintu
Konkrétní příklad nabízí americký program Rx Kids ve městě Flint. Poskytuje peníze v těhotenství a během prvního roku života dítěte. Dva výzkumné týmy zkoumaly vztah programu k záznamům systému ochrany dětí v prvních šesti měsících života.
Práce Sumita Agarwala a kolegů v JAMA Pediatrics odhadla proti předpokládanému vývoji bez programu pokles podílu kojenců s prověřovaným oznámením o sedm procentních bodů. V přepočtu jde přibližně o sedm kojenců s takovým oznámením méně na každou stovku. Její hlavní analýza využila roky 2021 až 2024 a 21 srovnávacích měst. U potvrzených případů však pokles statisticky průkazný nebyl. Už tady se široké tvrzení, že peníze prokazatelně omezily ubližování dětem, vzdaluje tomu, co práce doložila.
Podle publikovaného abstraktu Josepha Ryana a kolegů v Child Maltreatment jejich analýza účinek na kontakt s ochranou dětí ani potvrzené případy neprokázala. Uvádí období 2019 až 2024, Flint a dalších 61 měst. Zmiňuje také test načasování: u dětí, pro jejichž rodiny byl program dostupný delší část těhotenství, nebyl pokles kontaktů větší. Autoři to pokládají za argument proti vysvětlení poklesu platbami programu.
Týmy zvolily odlišná srovnání i analytické postupy. Oba týmy přitom pomocí údajů z jiných měst odhadují, jak by se situace ve Flintu vyvíjela bez programu. Vhodnost takového srovnání vyžaduje odborné posouzení. Samotný počet měst ani název metody vítěze neurčí.
Pro toto srovnání byl dostupný úplný hlavní text první práce, u druhé konečný abstrakt a starší rukopis. Ten se od publikované verze liší. Nemáme proto podklad pro rozhodnutí, který tým přesvědčivěji vyřešil jednotlivé metodické otázky. Z doložených rozdílů nelze bez dalšího udělat vysvětlení celého rozporu.
Navíc prověřované oznámení, potvrzený případ a skutečné ubližování nejsou totožné veličiny. Záznam úřadu zachycuje jen to, co se do daného systému dostalo a jak to bylo posouzeno. Rozdíl v evidenci proto musíme vykládat s ohledem na způsob jejího vzniku.
Co z americké studie platí u nás
Český rodič ani škola obvykle nerozhodují o programu ve Flintu. Potřebují vědět, co se z něj dá použít pro jejich vlastní otázku. Zahraniční původ výzkum neznehodnocuje. Přenos závěru však vyžaduje porovnání podmínek.
U podpory rodin bychom se ptali, kdo na pomoc dosáhne, jak dlouho trvá, jak významná je pro rodinný rozpočet a jaké další služby jsou dostupné. Zvlášť bychom potřebovali porovnat evidenci ohrožení dětí. Americký kontakt s ochranou dětí nelze prostě přejmenovat na český případ OSPOD a pokračovat se stejným číslem.
Podobně by při výběru školní prevence záleželo na věku žáků, délce programu, přípravě pracovníků a na tom, zda studie měřila znalosti, chování nebo bezpečí ve třídě. Příručka Cochrane při uplatnění výzkumu zdůrazňuje právě vztah mezi zkoumanými lidmi, prostředím, podobou zásahu a rozhodnutím, které řešíme.
Čtenář nemusí dělat práci celého výzkumného týmu
Má smysl dohledat původní práci a přečíst alespoň její otázku, výsledek a omezení. Zároveň je v pořádku přiznat, že složitou statistickou metodu neumíme posoudit. Otevřené PDF z nás samo odborníka neudělá. Při důležitém rozhodnutí potřebujeme kvalitní souhrn dosavadního výzkumu nebo odborníka, který umí vysvětlit také nejistoty.
Ani přehled více studií se nehodnotí pouhým počítáním hlasů pro a proti. Záleží na kvalitě zahrnutých prací, jejich srovnatelnosti a na tom, zda odpovídají na naši otázku. Dvě analýzy stejného programu navíc nejsou totéž jako dvě nezávislá ověření v různých zemích. Mohou sdílet část dat i jejich omezení.
Praktický první krok může být malý: vlastními slovy si zapsat, co každá studie podle dostupných informací zjistila. Pokud jedna mluví o znalostech a druhá o chování, už víme, proč jejich závěry nelze přímo postavit proti sobě. Pokud obě sledují totéž, ale jejich odhady jsou nejisté, víme alespoň, že zatím nemáme jednoduchou odpověď.
Rozdílný výsledek je důvod podívat se pozorněji. Sám o sobě neopravňuje zavrhnout výzkum ani si z něj vybrat pohodlnější závěr. Někdy poctivé čtení změní názor. Jindy nám umožní přesněji říct, co ještě potřebujeme vědět, než podle výsledku začneme jednat.
