Zprávy o nutričních studiích, revolučních dietách a zaručených návodech na hubnutí se objevují denně. Jak moc se jim dá věřit? Kontrolují novináři své zdroje? A kolik energie věnují prověřování metodiky výzkumu?
Novinář a vědec John Bohannon se rozhodl, že to zkusí prověřit. A podle zásad tzv. „gonzo novinařiny“ tyto otázky nekladl expertům ani novinářům. Místo toho ze sebe počátkem roku 2015 udělal „ředitele německého Institutu pro dietu a zdraví“ a sestavil studii s názvem „Čokoláda s vysokým obsahem kakaa jako urychlovač hubnutí“ (dostupná zde).
Sociální experiment Skutečný výzkum, ale záměrně špatná věda
Aby měl sociální experiment nějakou vypovídající hodnotu, dali si Bohannon a jeho spolupracovníci záležet na tom, aby se nikde nedopouštěli žádné lži. Tedy alespoň ne nad rámec toho, co je v obvykle prezentované „nutriční vědě“ běžné.
MetodikaTři skupiny strávníků s různými instrukcemi
|
Ve spolupráci s německými dokumentaristy Peterem Onnekenem a Dianou Löblovou tedy zafinancovali a realizovali skutečný lékařský výzkum. Přes Facebook naverbovali pokusné subjekty a rozdělil je do tří skupin. „Jednu skupinu jsme instruovali, aby dodržovala dietní režim s nízkým zastoupením uhlohydrátů a navíc do něj denně zařadila 42 gramů čokolády s 81% obsahem kakaa (čokoládová skupina). Další skupinu účastníků jsme instruovali, aby se stravovala podle stejné diety, ale bez dodatečné čokolády (skupina s omezeným množstvím uhlohydrátů). Třetí skupinu jsme požádali, aby jedla podle vlastního uvážení bez jakýchkoliv omezení,“ uvedli autoři. Doktor Gunter Frank všechny účastníky prohlédl a vzal jim vzorek krve před a po experimentu. Vážit se měli účastníci sami.
Na takové metodice na první pohled není nic špatného, ale druhý pohled už odhalí dva zásadní problémy: velmi malý vzorek pacientů (pouhých patnáct lidí celkem) a velmi krátkou dobu trvání studie. Oněch „několik týdnů“ byly ve skutečnosti týdny tři. „To například nestačí ani k tomu, aby se podchytil vliv menstruačního cyklu u žen,“ připomíná Bohannon. Další nedostatek studie spočívá v tom, že už tak velmi malé skupiny nebyly srovnatelné co do složení na základě věku. „Nezdržovali jsme se tím,“ říká Bohannon, jehož cílem bylo sestavit takovou studii, která sice naplňuje formální požadavky, ale je plná křiklavých nedostatků.
Grafy na skřipci Když měříte dost věcí, něco vyjde
Pak nastoupil statistik Alex Droste-Haars, který naměřená data dva dny mučil, dokud z nich nedostal přesvědčivě vypadající výsledky. Hlavní trik spočíval v tom, že výzkumníci dopředu neřekli, podle jakých kritérií budou výsledky hodnotit. Mohli si tak vybrat právě ty hodnoty, které náhodou vyšly. Je to podobné, jako kdybyste nechali patnáct lidí házet kostkou tak dlouho, dokud jim nepadne šestka, a pak je označili za šťastlivce.
Změny u jednotlivých měřených veličin mezi skupinou čokoládovou (modré proužky) a nízkouhlohydrátovou skupinou (černé sloupečky). Při tak malém vzorku a velkém množství hodnot je téměř zaručené, že některé změny budou vypadat významně.
Hlavním problémem je v tomto případě tzv. p-hacking, tedy pohrávání si s pravděpodobnostmi tak, aby vyšly statisticky významně. Za hranici významnosti je obvykle považováno p<0,05, což znamená, že je pouze 5% šance, že k výsledku došlo náhodou.
Jenže pokud nějaký experiment opakujeme tak dlouho, dokud nám nevyjde, nemá tento experiment sám o sobě žádnou vypovídající hodnotu. Podobný je i princip u měření více veličin: protože vědci neřekli dopředu, jaká je jejich hypotéza, mohli ve veličinách hledat souvislosti tak dlouho, dokud nějaké nenašli.
Vývoj hmotnosti u jednotlivých kategorií v průběhu tří týdnů
Výsledkem víkendového týrání dat byly úhledné a jasné hodnoty: tmavá čokoláda pomáhá lidem hubnout o deset procent rychleji a bez nástupu jo-jo efektu. Také pečlivě vybrané hodnoty z krevních testů potvrzovaly pozitivní vliv čokolády.
Podotkněme, že o vlivu čokolády na hubnutí existují i mnohé další studie. To, že je Bohannonův výzkum záměrně nekvalitní, neznamená, že čokoláda nemůže mít (pozitivní či negativní) vliv na úbytek váhy. Cílem této studie bylo něco jiného - zjistit, jak se bude či nebude šířit.
Predátorské časopisy Za poplatek vám publikují cokoli
Hotovou studii Bohannon poslal do asi dvaceti vědeckých časopisů s honosně znějícím názvem a pochybnou pověstí. „Naše práce byla do 24 hodiny přijata k publikaci v několika časopisech. Asi je zbytečné dodávat, že neprocházela žádným oponentním řízením,“ popisuje Bohannon.
Pavědecké časopisyOhánějí se seriózním, vědecky znějícím názvem. Nedodržují základní etická pravidla ani recenzní řízení. Za poplatek publikují komukoli cokoli. |
„Z nápadníků jsme si nakonec vybrali časopis the International Archives of Medicine. Dříve patřil velkému nakladatelství BioMedCentral, ale nedávno změnil majitele. Šéf nového nakladatele, Carlos Vasquez, psal, že jsme vytvořili vynikající rukopis, a že za pouhých 600 eur by mohl být bezodkladně přijat do jejich prémiového časopisu.“
Přestože editor časopisu oficiálně tvrdí, že všechny články jsou podrobovány důkladné kontrole a recenznímu řízení, práce Bohannonova týmu byla publikována za méně než dva týdny po stržení peněz z kreditní karty. „Ve studii jsme nemuseli změnit ani řádku,“ připomíná Bohannon.
(Studie byla po odhalení celého experimentu vydavatelem s omluvou stažena z původní adresy, můžete se ale podívat na zálohovanou verzi.)
Novináři a věda Chybělo ověření a zasazení do kontextu
Článek tedy vyšel v jakéms takéms vědeckém časopise. To ale k jeho slávě nestačí. K novinářům jej bylo potřeba nějak dotlačit - a to pokud možno co nejrychleji, aby byl článek ještě aktuální. Bohannon oslovil svého nejmenovaného známého, který jej zasvětil do tajů vědeckého PR.
Ukázky článků |
„Klíčem k využití novinářů je jejich lenost,“ všímá si Bohannon. „Když jim informace předložíte ve správné podobě, je to, jako kdybyste ty články v novinách psali sami. Většinou to tak skoro je, protože mnoho reportérů prostě zkopírovalo naši tiskovou zprávu a vložilo ji do svého článku.“ Jelikož Bohannon se sám živí jako vědecký novinář (píše například pro Science nebo Wired), doufal vlastně, že se na studii moc novin nenachytá. „Kvůli nám - kvůli novinářům jako vy a já - je svět zaplavován zprávami o nekvalitních vědeckých studiích,“ řekl pro NPR sebekriticky.
Řada novin, především bulvárních listů, zprávu publikovala, aniž by se zajímala o očividné nedostatky. Největším úlovkem byl zřejmě německý list Bild, kde se zpráva objevila na titulní straně, hned pod článkem o letecké katastrofě Germanwings.Někdy se novináři ozvali, aby zjistili, jak se píše Bohannonovo jméno. Nikdo se nezeptal na počet lidí ve studii.
„Nejvíce mne překvapilo, kolik novin studii převzalo. Asi největší zadostiučinění jsem pocítil, když jsem zmínku zahlédl v magazínu Shape,“ řekl pro Technet.cz John Bohannon. A pro čtenáře má důležitou radu: „Přestaňte číst časopisy a sloupky o dietách. Nestojí to za to.“
Falešné studieTestovat vědecké časopisy nekvalitními vědeckými články není nový nápad. Nejznámější je zřejmě pokus fyzika Alana Sokala poslat „pseudovědecký blábol“ do časopisu mimo jeho obor a poukázat tak na nízké redakční standardy. Podobný cíl má automatický generátor vědeckých textů. Sám John Bohannon již dříve zmapoval zasílání nesmyslného článku do pavědeckých časopisů. |
Dále jej překvapilo, že se nedočkal žádných nadávek od novinářů, které takto zesměšnil. Paradoxně prý naopak rozhněval některé vědce. „Několik vědců se do mne naváží, protože se domnívá, že jsem si měl tento sociologický experiment nechat schválit etickým panelem,“ řekl pro Technet.cz Bohannon. „To jenom ukazuje, že neví, co taková institucionální etická komise (IRB) vlastně je. Ale asi jim dělá dobře se nad tím pohoršovat.“
Za zmínku stojí, že seriózní noviny se této studii o čokoládovém hubnutí obloukem vyhnuly. Ani to ale není podle Bohannona povzbudivé: „Právě ta bulvární média mají přece největší sledovanost. Články nejspíše četly milióny lidí.“
Na studii se nachytalo i několik českých magazínů...
Podobně špatné studie jsou podle Bohannona v oboru výživového poradenství na denním pořádku: „Tohle odvětví je na tom opravdu špatně. Vědecké postupy jsou zcela ignorovány. A přitom to, co jíme, se přímo dotýká našeho zdraví. Je to stejně důležitá věda, jako onkologie nebo astrofyzika.“
Bohannon varuje, že jeho studie nebyla co do metodiky o nic horší než jiné články o dietách. Lidé by se proto měli zajímat o metodiku výzkumu. Důvěřovat by pak měli jen novinářům, kteří zasazují podobné poznatky do kontextu nebo požádají o názor odborníka z oboru. Jinak se totiž zprávy o nových dietách sotva liší od zpráv aprílových.
Další ukázky toho, jak média zacházejí s vědeckými studiemi (přednáška):
