Jedna pobočka služby dostala za rok čtyřicet stížností, druhá dvanáct. První číslo vypadá jako jasný důkaz horší práce. Pak se ukáže, že první pobočka zaznamenala desetkrát více návštěv. Po přepočtu na počet návštěv začne hůř vypadat druhá. Jenže ani tím není rozhodnuto: možná jedna eviduje i drobné připomínky, zatímco druhá zapíše jen formální podání. A možná se většina závažných problémů vůbec do stížností nedostane, protože lidé nevěří, že má smysl si stěžovat.
Číslo úsudek nenahradilo. Přimělo nás zpomalit. Místo rychlého dojmu přišly další otázky: kolika lidí se údaj týká, co přesně se počítá, kdo v souboru chybí a podle čeho lze dvě místa poctivě srovnat. Právě v tom může být síla měření. Neudělá složitý svět jednoduchým. Může však ztížit, aby o něm rozhodoval pouze nejhlasitější příběh, nejlepší prezentace nebo paměť člověka s největší mocí.
Co zjistí číslo a co zkušenost
Při rozhodování se potkávají různé druhy poznání. Člověk, který službu využívá, zná její každodenní fungování. Pracovnice vidí opakující se situace. Souhrnná data umožňují srovnat zkušenosti v čase a mezi místy.
Zkušenost jednoho člověka může přesně ukázat bolest, překážku nebo důsledek, který souhrnná statistika vyhladila. Sama však neřekne, jak často se totéž děje, komu, v jakých podmínkách a zda se situace mění. Číslo zase může ukázat vzorec, který žádný jednotlivec ze svého místa neuvidí. Samo ale nevysvětlí, jak tento vzorec vznikl a co pro lidi znamená.
Užitečné měření zasazuje zkušenost do širšího obrazu. Pomáhá zjistit, zda jde o výjimku, opakující se problém, nebo problém, který na různé skupiny dopadá nerovnoměrně.
Každé číslo začíná volbou otázky
Než vznikne první řádek tabulky, někdo musí rozhodnout, co bude považovat za úspěch. U školního programu lze počítat přihlášené děti, pravidelnou docházku, dokončení, získané znalosti, pocit bezpečí, pozdější využití dovednosti nebo rozdíly mezi skupinami. Všechny údaje mohou být správné. Každý z nich ale odpovídá na jinou otázku.
Stejné platí pro dostupnost lékaře. Průměrná čekací doba může začínat okamžikem, kdy člověk dostane doporučení, kdy se dovolá do ordinace, kdy jej systém zapíše do pořadníku, nebo kdy je žádost administrativně úplná. Posun začátku měření změní výsledek, aniž by se změnil jediný den, který pacient skutečně čekal.
Proto důvěryhodná statistika potřebuje nejen výsledek, ale také definici, zdroj a metodu. Základní principy oficiální statistiky OSN spojují veřejnou důvěru s odbornou nezávislostí, transparentností, relevancí, důvěrností a rovným přístupem. Číslo je kontrolovatelnější než dojem tehdy, když lze zjistit, jak vzniklo.
Větší počet nemusí znamenat vyšší riziko
Pět set nehod zní hůř než sto. Pokud však první číslo pochází z pěti milionů cest a druhé z deseti tisíc, vychází v prvním případě deset nehod na sto tisíc cest, ve druhém tisíc. Po přepočtu je tedy četnost nehod ve druhém případě stokrát vyšší. Počet odpovídá na otázku „kolik událostí nastalo“. Míra nebo podíl přidávají otázku „z kolika příležitostí či lidí“. Číslo, ke kterému počet událostí vztahujeme, tvoří jmenovatel. Podle otázky jím může být počet obyvatel, návštěv nebo odpracovaných hodin.
Metodika amerického CDC upozorňuje, že při porovnávání četnosti nestačí prosté počty, pokud se liší velikost sledovaných skupin nebo délka období. Jmenovatel musí odpovídat tomu, co sledujeme. To platí pro počet stížností na tisíc klientů, počet úrazů na počet odpracovaných hodin, počet vyloučení na počet žáků i počet zásahů na počet situací, v nichž k zásahu mohlo dojít.
I nízký podíl může v početné skupině znamenat mnoho lidí, kteří potřebují pomoc. Pro plánování kapacity potřebujeme vědět obojí: jak častý problém je a kolika konkrétních lidí se týká.
Průměr se může zlepšit, i když se někomu vede hůř
Představme si službu, v níž se průměrná čekací doba zkrátila z dvaceti na patnáct dní. To může být dobrá zpráva. Nevíme však, zda čeká většina lidí o něco kratší dobu, nebo zda se rychle vyřídily jednoduché případy, zatímco menší skupina s náročnějšími potřebami čeká déle než předtím.
Průměr zhušťuje mnoho různých výsledků do jediné hodnoty. Neprozradí, jak velké jsou mezi lidmi rozdíly, kolik jich dopadlo výrazně lépe nebo hůře ani zda se výsledek liší podle věku, příjmu, zdravotního stavu nebo místa. OECD proto ve své metodice měření životní pohody doporučuje vedle průměru sledovat také celé rozložení výsledků, rozdíly mezi skupinami a nerovnost mezi lidmi s nejvyššími a nejnižšími výsledky.
Podobný problém u uživatelských hodnocení rozebírá článek Když za nás vybírají hvězdičky: rozdíl jedné desetiny může zakrýt počet, stáří i rozložení hodnocení.
Rozdělení výsledků podle skupin ale vyžaduje opatrnost. U velmi malých skupin může výsledek silně kolísat a podrobná kombinace údajů může ohrozit soukromí. Podrobnost výstupu proto musí odpovídat spolehlivosti dat a ochraně lidí, kterých se týkají.
Paměť si vybírá nápadné případy
Lidská pozornost si neukládá svět rovnoměrně. Pamatujeme si nápadný konflikt, dojemný úspěch, člověka, který se často ozývá, a případ, jenž potvrzuje naše očekávání. Tichá zlepšení i lidé, kteří snahu využít službu vzdali ještě před vstupem, se do tohoto obrazu dostávají hůř.
Pravidelný záznam může ukázat, že problém, který vedení považovalo za ojedinělý, se vrací každý měsíc. Může také opravit opačný omyl: několik dramatických případů nemusí znamenat, že selhává celý program. U sociálního bydlení proto nestačí ani obecný úspěch přístupu, ani jedna stížnost ze sousedství. Jak ukazuje článek Pomoc pro celé město, dopady pro jednu čtvrť, je potřeba oddělit princip, místní provedení, konkrétní konflikt a odpovědnost za jeho řešení.
Měření zde chrání dvě strany zároveň. Brání tomu, aby se oprávněná místní zkušenost rozpustila v celkovém průměru. Současně brání tomu, aby jedna zkušenost bez srovnání rozhodla o všech lidech a celém programu.
Nerovné zacházení bývá vidět až ve vzorci
Jednotlivé odmítnutí uchazeče o práci lze vysvětlit desítkami důvodů. Teprve kontrolované srovnání většího množství stejných situací může ukázat, zda má některá skupina jinou šanci na odpověď.
V americkém terénním experimentu Marianne Bertrandové a Sendhila Mullainathana výzkumníci posílali fiktivní životopisy na pracovní nabídky v Bostonu a Chicagu. Měnili v nich jména vnímaná jako bělošská nebo afroamerická. Životopisy s bělošsky vnímanými jmény dostaly přibližně o polovinu více reakcí s nabídkou pohovoru. Výsledek publikovaný v roce 2003 popisuje konkrétní americký experiment. Jeho význam spočívá i v metodě: vzorec nerovného zacházení lze zachytit tam, kde by jedno odmítnutí připouštělo mnoho různých vysvětlení.
Podobnou roli může mít zveřejňování rozdílů v odměňování. Samotný rozdíl mezi průměrnou či mediánovou mzdou mužů a žen nedokazuje, že konkrétní žena dostala za stejnou práci méně. Ukazuje však místo, které stojí za podrobnější rozbor podle pozic, kariérního postupu, bonusů, úvazků a pravidel odměňování. Číslo neukončuje pátrání po příčině. Zabraňuje tomu, aby otázka zmizela jen proto, že každý jednotlivý plat lze obhájit zvlášť.
Co se neplatí, přesto zabírá čas
Domácí práce a péče o dítě, nemocného člověka nebo stárnoucího rodiče se často nepromítají do mzdy ani běžného ekonomického výkazu. Bez měření pak mohou působit jako přirozené pozadí, nikoli jako čas a odpovědnost, které někomu zmenšují prostor pro placenou práci, spánek nebo odpočinek.
Časové deníky umožňují tuto práci zviditelnit. Analýza Mezinárodní organizace práce využívá národní šetření času k porovnání neplacené péče podle pohlaví, věku, pracovního postavení, příjmu či přítomnosti dětí. Evropská metodika HETUS 2020 používá deník jednoho pracovního a jednoho víkendového dne, rozdělený do desetiminutových úseků, a sleduje také souběžné činnosti.
Ani deník nezachytí všechno. Člověk může současně vařit, hlídat dítě a pamatovat na objednání k lékaři. Neustálá pohotovost a odpovědnost se do časového úseku zapisují hůř než jasně ohraničená činnost. Přesto měření posouvá debatu: péče už není neviditelná jen proto, že za ni nepřišla výplatní páska.
Jak se neplacená práce, průběžná odpovědnost a budoucí rizika promítají do partnerské dohody, rozebírá článek Půl na půl není vždy spravedlivé. Jak se ve vztahu mění péče, peníze a moc.
Počet konzultací ještě neukazuje, komu pomohly
Organizace snadno spočítá, kolik lidí proškolila, kolik konzultací poskytla a kolik letáků rozdala. Tato čísla zachycují objem zaznamenané činnosti. Neříkají ještě, zda se lidé něco naučili, služba byla dostupnější, problém ustoupil nebo změna vydržela.
Rozdíl mezi sledováním provozu a vyhodnocením skutečného účinku je zásadní. Deset tisíc stažení informačního materiálu může znamenat velký zájem, automatické otevření odkazu i to, že lidé potřebnou odpověď nenašli. Ani údaj o stu absolventech neukazuje, kdo se do kurzu nedostal, kdo odešel ani zda lidé získanou dovednost později použili.
Metodika Magenta Book proto rozlišuje hodnocení průběhu, dopadu a poměru přínosů k nákladům. Úplnější hodnocení se ptá, zda opatření fungovalo, o kolik, proč, pro koho, v jakých podmínkách a za jakou cenu. Počet vykonaných kroků je užitečný, nesmí se však vydávat za důkaz dosaženého cíle.
Změna po programu ještě nemusí být změnou díky programu
Po zavedení nové služby klesne počet lidí bez bydlení. Školní absence se po preventivním programu sníží. Zaměstnanci po školení hodnotí pracoviště lépe. Všechny tři výsledky stojí za pozornost, ale časové pořadí samo neprokazuje příčinu.
Situaci mohla změnit ekonomika, počasí, jiný souběžný program, změna personálu, složení sledované skupiny nebo způsob evidence. Někdy se ukazatel vrací k běžné hodnotě po nezvykle špatném výchozím roce. Jindy se zlepší jen proto, že lidé s nejtěžší situací ze sledování vypadli.
Proto je důležitý výchozí stav, srovnání v čase nebo mezi přiměřeně podobnými skupinami a předem popsaná představa, jak má opatření vést k výsledku. Tam, kde experiment nelze provést nebo by nebyl etický, lze využít jiné postupy. Vyhodnocení má spojit dostupné důkazy a vysvětlit, která další možná vysvětlení změny dokázalo oslabit a která zůstala otevřená.
Když na ukazateli závisí odměna
Cíl může být užitečný. Jasná maximální čekací doba upozorní na problém, za který dříve nikdo nenesl zřetelnou odpovědnost. Povinné zveřejnění může organizaci přimět spočítat rozdíl, o němž se předtím mluvilo jen obecně. Pravidelná kontrola bezpečnostních událostí může zviditelnit opakující se riziko.
Silná odměna nebo sankce však způsobí, že ukazatel už realitu jen nepopisuje. Začne ji sám měnit. Když je škola hodnocena jediným testem, může zúžit výuku na to, co se testuje. Když služba musí vykázat určitý počet uzavřených případů, může dávat přednost těm snadným. Když se sleduje jen čekání po oficiálním zařazení, může se fronta přesunout před okamžik, kdy se hodiny spustí.
Analýza cílového řízení v anglickém zdravotnictví popsala vedle soustředění pozornosti také tunelové vidění, změny vykazování a hraní s pravidly. Při návrhu měření je proto dobré předem položit otázku: jaké chování se vyplatí, když na tomto čísle začne záviset pověst, rozpočet nebo pracovní místo?
Co má přidat další ukazatel
Na selhání jednoho ukazatele lze reagovat přidáním deseti dalších. Tím se někdy zachytí širší obraz. Jindy vznikne administrativní systém, v němž pracovníci tráví více času dokládáním činnosti než samotnou prací a nikdo už neví, které údaje jsou pro rozhodnutí podstatné.
Sada ukazatelů dává smysl tehdy, když každý plní jinou práci. Jeden může sledovat dostupnost, druhý výsledek, třetí nerovnosti a čtvrtý nechtěné důsledky. Pokud pět čísel pouze různými způsoby přepočítává totéž, přibývá práce s vykazováním, ale poznání se příliš neposune.
Dobré měření je přiměřené významu rozhodnutí. Jinou přesnost potřebujeme pro interní orientaci v malém projektu a jinou před uložením sankce, rozdělením veřejných peněz nebo rozhodnutím, zda službu zrušit. Čím vážnější jsou následky rozhodnutí, tím méně by mělo stát na jediném snadno vykazatelném výsledku.
Člověk a instituce nemají stejnou povinnost měřit
Člověk si může zapisovat kroky, náladu nebo čas učení, pokud mu údaj pomáhá. Může také měření opustit, když začne zvyšovat úzkost nebo vytlačovat smysl činnosti. Této hranici se podrobně věnuje článek Když se život změní v číslo.
Instituce s mocí nad druhými má jinou odpovědnost. Škola, úřad, zaměstnavatel nebo služba se jí nemohou vyhnout jen proto, že realita je složitá. Pokud rozdělují příležitosti, peníze, tresty nebo pomoc, musí být možné zjistit, komu prospívají, koho míjejí a zda se pravidla neuplatňují nerovnoměrně.
Při sběru osobních údajů musí instituce dodržovat také pravidla ochrany dat. Potřebuje právní důvod a konkrétní účel, musí údaje chránit a omezit jejich rozsah na to, co je pro daný účel nezbytné. Člověk nemá platit ztrátou soukromí za každou otázku, kterou by organizace mohla položit. Veřejná odpovědnost proto stojí na dvojí povinnosti: umět doložit dopady a současně nesbírat více, než je k jejich doložení skutečně potřeba.
Číslo ukáže, kde hledat. Zkušenost pomůže pochopit, proč se to děje
Když data ukážou, že určitá skupina častěji odchází ze služby, vznikne důležitý signál. Samotný záznam ale neřekne, zda lidem vadí otevírací doba, doprava, jazyk, ponižující jednání, cena, nevhodná podmínka nebo něco, co systém vůbec neeviduje.
Rozhovor, pozorování a odpověď na otevřenou otázku mohou ukázat příčinu i nečekaný důsledek. Nemají sloužit jen jako barevná citace k hotovému grafu. Mohou změnit otázku, definici úspěchu i to, které skupiny je potřeba ve výsledku zvlášť sledovat.
Stejně tak číslo chrání rozhovor před tím, aby se několik pečlivě vybraných výpovědí vydávalo za zkušenost všech. Každý z obou přístupů může odhalit něco, co druhému uniklo.
Sedm otázek před rozhodnutím podle ukazatele
Před odměnou, sankcí, zrušením programu nebo závažným veřejným závěrem pomáhá projít několik jednoduchých otázek:
| Otázka | Co může odhalit |
|---|---|
| Co přesně se počítá a co už ne? | Nejasnou definici nebo přesunutí problému mimo evidenci. |
| Jaký je počet a jaký jmenovatel k němu patří? | Záměnu velikosti provozu za vyšší riziko nebo nižší kvalitu. |
| Jak vypadá rozložení a rozdíly mezi skupinami? | Průměrné zlepšení, které někoho minulo či poškodilo. |
| S čím výsledek srovnáváme? | Chybějící výchozí stav, nevhodnou skupinu nebo příliš krátké období. |
| Dokládáme činnost, výsledek, nebo skutečný účinek? | Záměnu počtu kroků za dosažení cíle. |
| Jaké chování ukazatel odměňuje a co vytlačuje? | Tunelové vidění, výběr snadných případů nebo úpravu evidence. |
| Co říkají lidé, kteří v datech chybějí nebo dopadli nejhůř? | Překážku, mechanismus či důsledek, který tabulka neumí pojmenovat. |
U důležitého rozhodnutí by mělo být možné vysvětlit, proč zvolený údaj odpovídá právě na danou otázku a kde jsou meze závěru.
Měřit znamená přijmout možnost opravy
Číslo může pomáhat kontrolovat jednání institucí i posilovat jejich moc nad lidmi. Rozdíl neleží jen v matematice, ale v tom, kdo vybírá ukazatel, kdo zná postup, jímž číslo vzniklo, kdo může výsledek zpochybnit a zda nepříjemné zjištění opravdu něco změní.
Užitečné měření pomáhá zjistit, komu se daří lépe a komu hůře než ostatním a čí zkušenost se opakuje. Součástí jeho používání je i průběžná kontrola, zda ukazatel stále vypovídá o tom, kvůli čemu vznikl.
Bez čísel může o složitém světě rozhodovat dojem. Se špatně zvoleným číslem může rozhodovat dojem převlečený za přesnost. Smyslem měření není zbavit se úsudku. Má nás přimět ukázat, jaké otázky klademe, s čím srovnáváme a kde můžeme něco přehlížet. Zároveň musí připustit opravu, když výsledek nesedí se skutečným životem.
