Gran parte delle conclusioni alle quali arrivano i ricercatori nei loro studi sono spesso esagerate, fuorvianti, o addirittura completamente false. Perchè allora i dottori, in buona parte, determinano le loro pratiche terapeutiche da questa disinformazione? Il dr. John Ioannidis si è impegnato nel dimostrare i ragionamenti errati o non scientifici di molti dei suoi colleghi.
Traduzione dell'articolo "Lies, Damned Lies, and Medical Science [3]", di David H. Freedman.
Nel 2001 in Grecia si sparsero voci secondo le quali venivano diagnosticate finte appendiciti ai poveri immigrati albanesi per poter aumentare il numero di interventi effettuati negli ospedali. Una neolaureata, Athina Tatsioni, stava discutendo di queste voci con dei dei colleghi nel policlinico dell'università di Ioannina, ed un professore, sentendo la conversazione, le chiese se fosse disposta a provare la loro veridicità, e la sfidò nell'impresa. Lei accettò la sfida e, con l'aiuto del professore ed altri colleghi colleghi, realizzò uno studio formale che dimostrò che, per qualche motivo, il numero di pazienti con nomi albanesi operati di appendicite in sei ospedali grechi era più di tre volte maggiore rispetto ai pazienti con nomi greci. "Fu difficile trovare una rivista disposta a pubblicare l'articolo, ma ci riuscimmo", ricorda Tatsioni. "Ho anche scoperto di avere una passione per la ricerca". La cosa fu per lei doppiamente importante perchè si scoprì che il professore che l'aveva ingaggiata stava cercando di mettere insieme una squadra di giovani medici e ricercatori per un compito piuttosto insolito, e lei aveva passato con successo la prova d'ammissione.
La scorsa primavera partecipai ad uno dei meeting settimanali del gruppo nel campus dell'università, tenuto lungo una strana serie di ripide colline. L'edificio in cui ci incontrammo, così come gli altri della scuola, assomiglia ad una caserma ed i suoi muri sono cosparsi di scritte a sfondo politico. Ma la stanza dell'incontro era una sala conferenze così spaziosa che sarebbe stata degna di una startup della Silicon Valley. Tatsioni ed altri otto giovani ricercatori siedevano attorno ad un grande tavolo ed a differenza di molti loro colleghi statunitensi, somigliavano al cast di una serie medica televisiva. Il professore, una persona elegante e dalla voce cordiale, presiedeva la seduta senza troppe formalità.
Una delle ricercatrici, una biostatistica di nome Georgia Salanti, accese un laptop ed un proiettore per illustrare uno studio che stava facendo con alcuni colleghi che si poneva la seguente domanda: "le case farmaceutiche manipolano le ricerche per far sembrare migliori i loro farmaci? Salanti cominciò ad enunciare una serie di dati che sosteneva questa ipotesi ma fu rapidamente interrotta dai suoi colleghi. Uno fece notare che il suo studio non prendeva in considerazione il fatto che le aziende farmaceutiche non danno la giusta importanza ai risultati "importanti" per i pazienti come la sopravvivenza rispetto ai decessi, mentre tendono a riportare risultati più soggettivi come lo stato di benessere auto-diagnosticato (ad esempio "oggi il petto non mi fa male quanto ieri"). Un altro collega rimarcò il fatto che lo studio di Salanti si dimenticava del fatto che quando le aziende farmaceutiche sembravano mostrare una miglioria della salute dei pazienti, non veniva contemporaneamente mostrata la prova che la medicina in causa era la sola artefice di questa miglioria, oppure che la miglioria era trascurabile.
Salanti rimase impassibile, come se essere criticata duramente facesse parse del corso, e non esitò ad ammettere che tutte le obiezioni fossero valide; replicò che una unica ricerca non può dimostrare tutto. Cominciai a capire quanto potessero essere flessibili gli studi effettuati dalle case farmaceutiche. Fu allora che il prof. Ioannidis, che fino a quel momento era stato in silenzio, assestò il colpo di grazia: non sarà, chiese, che le aziende farmaceutiche scelgono con cura gli argomenti dei loro studi, ad esempio confrontando i nuovi farmaci con prodotti già notoriamente poco efficaci, in modo da essere avvantaggiati ancora prima che cominci il balletto dei numeri e delle statistiche? "Forse a volte sono le domande ad essere manipolate, non le risposte", disse con un sorriso amichevole. Tutti annuirono. Anche se i risultati di alcune ricerche arrivano sulle prime pagine dei giornali dovremmo sempre chiederci se dimostrano veramente qualcosa. Esisterà una ricerca medica di cui possiamo veramente fidarci?
Questa è stata una delle domande principali per Ioannidis, che ha avuto una carriera da metaricercatore, ed è diventato uno dei principali esperti sulla credibilità della ricerca medica. Lui con il suo team ha dimostrato, più volte, ed anche in diversi modi che gran parte delle conclusioni negli studi in ricerca biomedica pubblicati - conclusioni che vengono prese in considerazione dai dottori quando prescrivono antibiotici o medicinali per la presione, o quando ci consigliano di mangiare più fibre o meno carne, o quando consigliano un intervento al cuore o per il mal di schiena - sono fuorvianti, esagerate, e spesso semplicemente errate. Ioannidis sostiene che il 90% delle informazioni mediche pubblicate, sulle quali fanno poi affidamento i medici, hanno dei problemi di fondo. Il suo lavoro è stato ampiamente accettato dalla comunità medica e viene spesso citato nelle più prestigiose riviste del settore, ed alle conferenze le sue presenze sono una grande attrazione. Considerando la sua notorietà ed il fatto che prende di mira il lavoro degli altri colleghi, così come il comportamento dei medici nei nostri confronti ed i consigli che ci danno, Ioannidis potrebbe essere uno degli scienziati attualmente più influenti. Ma nonostante la sua influenza ritiene che la ricerca medica è così fallata e segnata da conflitti d'interesse che sia impossibile correggere questa situazione, o anche semplicemente ammettere l'esistenza di questo enorme problema.
La cittadina universitaria di Ioannina è situata vicino alle rovine di un anfiteatro di 20.000 posti costruito in onore di Zeus sul sito dell'antico oracolo di Dodona. Si diceva che un tempo l'oracolo rispondesse alle domande dei sacerdoti agitando le fronde di una antica quercia sacra. Al giorno d'oggi una nuova quercia invita i visitatori a ripetere il rito. "Porto qui tutti i ricercatori che vengono a trovarmi e quasi tutti rivolgono alla quercia la stessa domanda", mi racconta Iannidis, contemplando l'albero il giorno seguente il meeting. "Otterrò il finanziamento per la mia ricerca?". Ridacchia, ma Ioannidis tende a ridere non tanto per allegria quanto per ammorbidire la durezza dei suoi attacchi. Ed osserva che l'ossessione dei finanziamenti ha contribuito molto ad indebolire la credibilità della ricerca medica.
Ioannidis si è imbattuto in questo tipo di problematica la prima volta all'inizio degli anni '90, da giovane ricercatore ad Harvard. All'epoca era interessato nel diagnosticare alcune malattie rare per le quali scarseggiavano i dati al punto che i dottori dovevano affidarsi all'intuito ed all'esperienza. Ma ben presto si accorse che i medici tendevano a procedere nella stessa maniera anche quando si trattava di tumori, cardiopatie ed altre patologie comuni. Dov'erano i dati che sostenevano le loro scelte terapeutiche? C'erano molte ricerche pubblicate ma in molti casi erano ben poco scientifiche e basate principalmente sull'osservazione di un numero ridotto di casi. Proprio in quel periodo stava nascendo un nuovo movimento a favore di una "medicina fondata sulle prove" in cui Iaonnidis si lanciò a capofitto, lavorando con autorevoli ricercatori della Tufts University e poi assumento incarichi alla John Hopkins University ed all'istituto nazionale della salute. Era molto preparato per questo tipo di lavoro: durante il liceo veniva considerato un prodigio in matematica ed aveva poi deciso di seguire i passi dei suoi genitori, entrambi ricercatori. Ora aveva la possibilità di conciliare matematica e medicina applicando una rigorosa analisi statistica ad un settore altrimenti ben poco rigoroso in tal senso.
"Davo per scontato che tutto ciò che facevamo noi medici fosse sostanzialmente giusto, ma volevo verificarlo", dice. "Tutto quello che dobbiamo fare è rivedere in maniera sistematica tutte le prove per poterci fare affidamento e poi tutto sarebbe stato perfetto".
Ma non andò così. Lavorando sulle pubblicazioni mediche, Ioannidis fù colpito da quante scoperte di ogni tipo venissero poi contraddette da scoperte successive. Ovviamente le smentite in ambito medico non sono certo un segreto. E qualche volta arrivano anche sui giornali, come recentemente riguardo diversi studi, che trovano un ampio consenso tra i ricercatori, che concludono che mammografie, colonscopie e test del PSA sono molto meno utili di quanto si pensasse per individuare i tumori. Oppure di quanto farmaci come il Prozac, il Zoloft o il Paxil in molti casi di depressioni non siano più efficaci di un placebo. O che evitare completamente il sole può far aumentare il rischio di cancro, o che bere molta acqua durante una attività fisica intensa può essere potenzialmente fatale. O ancora quando, ad Aprile, siamo stati informati sul fatto che assumere olio di pesce, fare attività fisica e giochi enigmistici non aiuta a prevenire l'Alzheimer come fino a prima sostenuto. Studi sottosposti a revisione tra pari sono arrivati a conclusioni opposte nel valutare se l'uso del cellulare provochi tumori al cervello, se dormire più di 8 ore a notte sia salutare o pericoloso, se assumere aspirina ogni giorno possa allungare o accorciare la vita media, se l'angioplastica sia meglio o peggio dei farmaci per liberare le coronarie.
Ma Ioannidis fu soprattutto sbalordito dai continui capovolgimenti che vedeva nella ricerca medica. I "controlli randomizzati" (randomized controlled trials) che mettono a confronto un gruppo sottoposto ad un determinato trattamento ed un altro gruppo a cui la terapia non viene somministrata erano considerati da sempre una evidenza incontrovertibile, eppure a volte si dimostravano sbagliati. "Mi resi conto che anche le nostre ricerche di tipo 'gold standard' avevano un sacco di problemi", racconta. Perplesso, cercò di cominciare a capire cosa c'era di sbagliato. E capì ben presto che la gamma di errori commessi era sbalorditiva: a partire da quali domande ponevano i ricercatori, a come impostavano gli studi, quali pazienti reclutavano, quali misurazioni effettuavano, come analizzavano i dati, fino a come venivano presentati i dati e come determinati studi arrivavano ad essere pubblicati nelle riviste mediche.
Questo ampio assortimento faceva pensare ad una disfunzionalità di base più grave e Ioannidis pensava di sapere quale fosse. "Gli studi erano viziati da un errore sistematico", spiega. "A volte erano apertamente viziati. A volte la manipolazione era difficile da individuare, ma c'era". I ricercatori cominciavano i loro studi cercando certi risultati, e guarda caso li trovavano. Pensiamo che il processo scientifico sia obiettivo, rigoroso e spietato nel separare ciò che è vero da ciò che vorremmo fosse vero, ma in realtà è facile manipolare i risultati, perfino senza volerlo o senza esserne consapevoli. "In ogni passaggio c'è uno spazio di manovra per distorcere i dati, per rafforzare la propria tesi o per selezionare le conclusioni alle quali si vuole arrivare", continua Ioannidis. "C'è una sorta di conflitto di interessi intellettuale che spinge i ricercatori a trovare il risultato che ha la maggior probabilità di ottenere un finanziamento".
Forse solo una minoranza dei ricercatori si comporta in questo modo, ma i loro risultati distorti hanno un enorme impatto sulle ricerche pubblicate. Per ottenere cattedre o finanziamenti, o spesso semplicemente per restare a galla, i ricercatori devono far pubblicare i loro studi in riviste prestigiose, dove il tasso di rifiuto può essere superiore al 90%. Chiaramente gli studi che tendono a superare la soglia sono quelli con risultati clamorosi. Ma se presentare teorie molto attrattive può essere relativamente semplice, trovare conferme nella realtà è tutta un'altra storia. Sottoporre ad un'analisi rigorosa la maggior parte delle ricerche le farebbe crollare sotto il peso di dati contradditori.
Ora immaginiamo che 5 team di ricercatori vogliano testare un'interessante teoria di cui si sta parlando molto e che quattro di loro dimostrino correttamente che la teoria è sbagliata, mentre il gruppo meno preciso, grazie ad errori, colpi di fortuna e/o un'abile selezione dei dati, riesca a "dimostrare" che è giusta. Indovinate quale degli studi finirà sotto gli occhi del medico in una rivista specializzata e finirà al telegiornale in prima serata? A volte i ricercatori fanno notizia confutando un'importante scoperta, cosa che può contribuire quanto meno a sollevare dubbi sui risultati, ma in generale è molto più gratificante aggiungere una nuova intuizione o una caratteristica interessante ad una ricerca già nota piuttosto che sottoporre ad una nuova verifica le sue premesse fondamentali. Del resto semplicemente riverificare i risultati di qualcun altro difficilmente si tramuterà in una pubblicazione, e smentire il lavoro di stimati colleghi può avere sgradevoli ripercussioni professionali.
Alla fine degli anni '90 Iannidis si installò all'università di Ioannina. Mise insieme la sua squadra, che è fondamentalmente la stessa di oggi, e cominciò ad affrontare il problema in una serie di articoli che spiegavano in che modo alcuni studi davano risultati fuorvianti. Anche altri metaricercatori cominciavano ad identificare l'elevato tasso di errori della letteratura medica. Ma Ioannidis voleva creare un quadro generale basandosi su dati solidi, un ragionamento chiaro ed una buona analisi statistica. Il progetto andò avanti finchè Ioannidis si ritirò infine nella piccolissima isola di Sikinos, nel mar Egeo, ispirato dall'ambiente relativamente primitivo e dalle tradizioni intellettuali evocate da quei luoghi. "Un tema ricorrente della letteratura della Grecia antica è che sia necessario ricercare la verità, qualunque essa sia", dice. Nel 2005 rilasciò due studi che sfidavano le fondamenta della ricerca medica.
Scelse di pubblicare il primo articolo1 appositamente sulla rivista online PLoS Medicine [4]2, la cui finalità è impegnarsi a diffondere qualunque articolo metodologicamente corretto a prescindere da quanto siano "interessanti" i risultati. Nello studio, Ioannidis ha esposto una precisa dimostrazione matematica di come, ipotizzando un modesto livello di manipolazione da parte del ricercatore, un margine di imperfezione attribuibile alle metodologie di ricerca e la tendenza a concentrarsi sulle teorie più eccitanti invece che quelle più scontate, i ricercatori arriveranno quasi sempre a risultati sbagliati.
Più semplicemente, se si è attirati da un'idea che ha buone probabilità di essere sbagliata, ma si è motivati a dimostrare che è giusta e se c'è un certo spazio di manovra per produrre le prove, quasi sempre si riuscirà a dimostrare che una teoria sbagliata è giusta. Il modello prevedeva, nei vari settori della ricerca medica, tassi di errore più o meno corrispondenti alle percentuali storiche di studi che nel tempo sono stati poi smentiti: si rivela infatti errato l'80% degli studi non randomizzati (che sono anche i più diffusi), il 25% dei controlli randomizzati supposti gold standard, e fino al 10% dei grandi studi randomizzati di qualità platinum standard. Nell'articolo Ioannidis ha espresso la sua convinzione che i ricercatori spesso manipolano l'analisi dei dati, privilegiando i risultati che possono favorire la carriera piuttosto che la buona scienza, ed arrivando ad usare perfino il processo di revisione tra pari (il famoso peer review) - in cui le riviste chiedono ai ricercatori di decidere quali studi pubblicare - per eliminare le opinioni contrastanti. "Puoi mettere in dubbio alcuni dettagli dei calcoli di John, ma è difficile sostenere che l'essenza delle idee non sia fondamentalmente corretta", dice Dong Altman, un ricercatore dell'università di Oxford che dirige il centro per la statistica in medicina.
Eppure Ioannidis temeva che la comunità medica potesse trascurare i suoi risultati: sicuramente moolte ricerche discutibili arrivano alla pubblicazione, ma noi medici e ricercatori sappiamo ignorarle e concentrarci sulle cose migliori, quindi qual'è il problema? Il suo secondo articolo si occupava proprio di questa obiezione. Ioannidis aveva preso di mira 49 dei tra le ricerche giudicate più importanti degli ultimi 13 anni in base ai due criteri stardard di misura: gli studi erano apparsi nelle riviste più citate negli articoli di ricerca e i 49 studi erano i più citati di queste riviste. Erano gli articoli avevano contribuito alla popolarità come la terapia ormonale sostitutiva per le donne in menopausa, la vitamina E per ridurre il rischio di cardiopatie, gli stent coronarici per scongiurare gli attacchi cardiaci ed una bassa somministrazione giornaliera di aspirina per controllare la pressione e prevenire infarti ed ictus. Ioannidis stava mettendo alla prova le sue tesi non su ricerche di basso livello o quelle semplicemente più accettate, ma sul vertice assoluto della piramide della ricerca. Dei 49 articoli 45 affermavano di aver scoperto interventi efficaci. 34 di queste affermazioni erano state riverificate e 14, cioè il 41%, si erano dimostrate sbagliate o di gran lunga esagerate. Se tra un terzo e metà delle più acclamate ricerche mediche si rivelava inafficabile la portata del problema era innegabile. Questo articolo fu pubblicato nel Journal of American Medical Association.
Dopo aver insistito per farmi vedere i sei monasteri su di un'isola nel centro di un vicino lago, come sembra faccia con tutti i suoi ospiti, si scusò profusamente per l'uso di una luce gialla, spiegando ridendo che non si fidava della capacità di fermarsi in tempo del camion dietro di lui. Considerando la sua volontà, ed anche la brama, di prendere a schiaffi la comunità medica, appare premuroso, allegro e molto cortese. E' un ascoltatore attento che con i suoi ampi sorrisi e risatine che sembrano di scusa fa sembrare quasi benevoli i duri affondi delle sue argomentazioni. Ed è sempre pronto, anzi prontissimo, a mettere in dubbio la sua competenza e le sue motivazioni come quelle di chiunque altro. Sottile ed elegante, con baffi ben curati, è un quarantacinquenne dai tratti di un nerd brioso - un misto tra Giancarlo Giannini ed un po' di Mister Bean.
Con l'umiltà e la cortesia che lo contraddistinguono, Ioannidis riesce a far arrivare un messaggio che non è facile da digerire, e tutto sommato nemmeno da credere, e cioè che perfino i più stimati ricercatori di sitituzioni prestigiose a volte sfornano risultati di grido invece di semplici scoperte che però hanno più probabilità di essere giuste. E Ioannidis precisa che le pagine delle più illustri riviste mediche, per non parlare dei quotidiani, sono piene di dati discutibili. Basti pensare a tutti i risultati sulla nutrizione in cui i ricercatori seguono migliaia di persone per un certo numero di anni registrando tutto quello che mangiano, quali integratori assumono, e come cambia la loro salute nel corso dello studio. Poi si chiedono "Cosa ha fatto la vitamina E? Cosa hanno fatto la vitamina C, D o A? Cosa è cambiato con la diversa assunzione di calorie, proteine o grassi? Cosa è successo si livelli di colesterolo? Chi ha avuto un tumore, e di che tipo?". Passano tutto al setaccio, cominciano a trovare delle associazioni e finalmente concludono che la vitamina X riduce il rischio di tumore Y, oppure che tale prodotto alimentare diminuisce il rischio di una certa malattia". Nella stessa settimana, quest'autunno, la pagina di Google News mostrava queste notizie: "Maggiori dosi di Omega-3 non aiutano i malati di cuori", "Frutta e verdura diminuiscono il rischio di tumori per i fumatori", "La soia potrebbe aiutare le donne anziane con problemi di insonnia" e decine di altri articoli simili.
Quando uno studio condotto per cinque anni su 10.000 persone rivela che chi assume più vitamina X ha meno probabilità di sviluppare il tumore Y è e facile credere che ci siano buone ragioni per prendere più vitamina X, ed automaticamente i medici passano questa raccomandazione ai pazienti. Ma spesso questi studi si contraddicono pesantemente lun l'altro. E così troviamo una moltitudine di annunci e smentite sulle qualità antitumorali delle vitamine A, D ed E, sui benefici di una dieta ricca di grassi e carboidrati per la salute del cuore e perfino sulla possibilità che essere in sovrappeso accorci o allunghi la vita. Come dovremmo orientarci tra questi studi di alto livello sull'alimentazione, ma contradditori? Ioannidis suggerisce un approccio semplice: ignorarli tutti.
Tanto per cominciare, spiega, in una grande raccolta di dati è facile che si sviluppino legami apparenti tra fattori legati alla nutrizione ed alla salute ma che in realtà possono essere solo casuali, un po' come combinare a caso lettere e poi sostenere che c'è un messaggio importante per ogni parola che si forma. Ma anche se uno studio riuscisse a stabilire un reale rapporto tra un qualche ingrediente e la salute difficilmente potremmo avere dei benefici mangiandone di più perchè tutti noi consumiamo migliaia di elementi nutritivi che interagiscono tra loro in una sorta di rete. E cambiare le dosi di un solo nutriente provocherebbe ripercussioni troppo complesse da capire sull'intera rete con la possibilità che siano tanto benefiche quanto malefiche per la salute. E per di più se anche agendo su quell'unico fattore si portasse un reale miglioramento rimarrebbe aperta la possibilità che sul lungo periodo si manifestino effetti negativi perchè questi studi non seguono quasi mai il decorso di una malattia per interi decenni o fino alla morte. Si accontentano di controllare degli "indicatori" della salute facilmente misurabili come i livelli di colesterolo, pressione sanguigna e glicemia ed i metaesperti hanno dimostrato che cambiamenti in questi indicatori spesso non si correlano bene con la salute a lungo termine.
Nei casi relativamente rari in cui uno studio dura sufficientemente a lungo da tracciare la mortalità, i risultati spesso contraddicono quelli delle ricerche più brevi. (Per esempio, sebbene la grande maggioranza degli studi su persone sovrappeso correla il peso eccessivo con problemi di salute, gli studi più lunghi non hanno mostrato in modo convincente che che le persone sovrappeso muoiano prima, ed addirittura alcuni di essi hanno mostrato che persone lievemente sovrappeso possono vivere mediamente di più). E questi risultati non dipendono dai normali errori di rilevazione (ad esempio normalmente le persone riportano in maniera errata le proprie abitudini alimentari), da analisi sbagliate (i ricercatori si affidano a software complessi che possono manipolare i risultati senza che loro ne siano consapevoli) e da problemi meno comuni ma molto importanti quali le vere e proprie frodi (un problema che, in sondaggi confidenziali si è rivelato molto più diffuso di quanto gli scienziati vogliano ammettere).
Infine, se uno studio riesce a superare tutti questi problemi ed a stabilire una vera correlazione per la salute a lungo termine, non c'è nessuna garanzia di poterne trovare giovamento perchè gli studi riportano risultati medi che rappresentano una vasta gamma di esiti individuali. Se poi doveste rientrare nella minoranza che può effettivamente beneficiarne non c'è da aspettarsi un miglioramento evidente perchè gli studi normalmente colgono solo effetti modesti che tendono a ridurre le già basse probabilità di essere colpiti da una certa malattia. "Le possibilità che da questi studi esca fuori qualcosa di utile è molto bassa", dice Ioannidis - liquidando così in un attimo gran parte dei 100 miliardi di dollari di ricerche mediche solo negli Stati Uniti.
Una cosa analoga avviene per tutti gli studi medici, dice Ioannidis. E sicuramente quelli sulla nutrizione non sono i peggiori: gli studi sui farmaci hanno l'aggravante del conflitto di interesse economico. Ioannidis aggiunge che i collegamenti genetici con le malattie o altri annunci che vengono costantemente sbandierati dalla stampa perchè sembrano promettere terapie miracolose in passato si sono mostrati così vulnerabili ad errori e distorsioni che tanto valeva giocare a freccette prendendo di mira una mappa del genoma. Vioxx, Zelnorm e Baycol sono tre esempi di farmaci di largo consumo che in ampi controlli randomizzati erano risultati sicuri ed efficaci e poi sono stati ritirati dal mercato per non avere una o l'altra qualità, o entrambe.
"A volte le tesi presentate nelle ricerche sono così stravaganti che possono essere liquidate senza neppure bisogno di approfondire i problemi specifici di quegli studi", dice Ioannidis. Ma naturalmente è proprio l'originalità delle tesi (una importante ricerca randomizzata ha mostrato che la preghiera di persone sconosciute può aiutare a salvare la vita di pazienti sottoposti ad interventi al cuore, mentre altri hanno dimostrato che li può danneggiare) che contribuisce a far pubblicare i risultati nelle riviste e poi a farli entrare nelle terapie e nel nostro stile di vita, soprattutto se queste idee si basano su evidenze che sembrano straordinarie. "Anche quando l'evidenza mostra che l'idea in una certa ricerca è sbagliata, se hai migliaia di scienziati che hanno investito su di essa la loro carriera, continueranno a pubblicare articoli su di essa", dice. "E' come un epidemia, nel senso che se uno è infetto da un'idea sbagliata poi la contagia ad altri ricercatori attraverso le riviste".
Sebbene gli scienziati ed i giornalisti scientifici continuino a ribadire l'importanza del processo di revisione tra pari, i ricercatori ammettono che gli studi viziati da errori di prospettiva, sbagliati, o persino fraudolenti riescono a venire pubblicati nelle riviste con estrema facilità. Nature, la grande signora delle riviste scientifiche, in un editoriale del 2006 ha scritto: "Gli scienziati sanno che di per sé la revisione tra pari fornisce solo una minima garanzia di qualità ma la percezione che arriva al pubblico è ben distante dalla realtà". Inoltre il processo di revisione tra pari spesso scoraggia gli studiosi ad avventurarsi su strade nuove e li spinge a lavorare sui risultati dei colleghi (che sono i loro potenziali revisori) in modi che solo sembrino importanti passi avanti. Ad esempio per mirabolanti associazioni genetiche (identificato il gene dell'autismo!) e scoperte nutrizionali (l'olio di oliva abbassa la pressione sanguigna!) che in realtà sono varianti ipotetiche e contradditorie dello stesso tema.
La maggior parte dei redattori delle riviste non cerca nemmeno di difendersi dai problemi che affliggono questi studi. Le università ed i centri di ricerca governativi che supervisionano la ricerca raramente impongono standard di qualità più elevati, e quando lo fanno, la comunità scientifica s'infuria e respinge le interferenze esterne. La protezione migliore nei confronti di errori sulle ricerche e preconcetti dovrebbe avvenire da parte degli studiosi che sottopongono a nuove verifiche le proprie ed altrui conclusioni, ma non lo fanno. Soltanto i risultati di maggiore rilievo vengono messi alla prova, perchè confermarli o smentirli può aiutare a raggiungere la pubblicabilità.
Ma anche negli studi più influenti a volte le evidenze sono veramente limitate. Dei 45 studi supercitati presi in considerazione da Ioannidis ben 11 non sono mai stati verificati una seconda volta. Ma c'è di peggio: Ioannidis ha verificato che un errore di metodo rimane per anni o addirittura decenni, anche quando viene identificato. Esaminando tre degli studi principali degli anni '80 e '90 ognuno dei quali successivamente smentito, ha scoperto che i ricercatori continuavano a citare lo studio originale il più delle volte ancora come corretto, in un caso addirittura per 12 anni.
I medici dovrebbero accorgersi che i pazienti non reagiscono alle terapie che la letteratura li aveva indotti a pensare, ma il settore è appositamente condizionato a vedere i propri risultati come aneddotici rispetto a quelli degli studi. Eppure la maggior parte di quello che fanno i medici non è mai stata verificata con studi credibili dato che questa necessità è cominciata a sentirsi solo negli anni '90. Ora il settore deve recuperare più di un secolo di medicina non basata su prove, dando ancora più importanza alle asserzioni di Ioannidis secondo le quali le conoscenze mediche sono fondamentalmente errate. Il fatto che questa mancanza non porti a gravi conseguenze per la salute è dato principalmente dal fatto che la maggior parte dei consigli ed interventi medici non riguardano condizioni di vita o di morte ma ci portano a lievi migliorie o peggioramenti che non modificano in maniera sostanziale i nostri rischi per la salute.
La ricerca medica non è certo l'unica ad essere afflitta da errori sistematici. Altri esperti metaricercatori hanno confermato che problematiche simili distorcono la ricerca in tutti i settori della scienza, dalla fisica all'economia (dove gli autorevoli economisti J. Bradford DeLong e Kevin Lang una volta mostrarono come una completa insufficienza di prove su studi economici pubblicati porterebbe a pensare che nessuno di loro sia corretto). Ed è superfluo aggiungere che la situazione peggiora ancora con la miriade di saggi popolari che ci vengono propinati da guru e presunti esperti di diete, rapporti umani, investimenti e relazioni familiari. Ma ci aspettiamo di più dagli scienziati, ed in particolare dalla scienza medica, perchè siamo convinti che la nostra vita dipenda dalle loro scoperte. L'opione pubblica difficilmente si rende conto di quanto sia azzardata quesa scommessa. La stessa comunità medica avrebbe continuato a sottovalutare la gravità del problema se Ioannidis non l'avesse costretta ad affrontarlo con gli studi che ha pubblicato nel 2005.
Inizialmente Ioannidis pensò che la comunità avrebbe reagito ai suoi studi contestandoli. Invece sembra sollevato dal fatto che sembri che il settore sia riuscito a dare corpo a questi sospetti, aspettando che qualcuno avesse il coraggio di parlarne, ed anzi ansioso di saperne di più. David Gorski, un chirurgo e ricercatore del Detroit’s Barbara Ann Karmanos Cancer Institute, ha fatto notare, attraverso il suo blog che è molto conosciuto, che quando ha presentato le ricerche di Ioannidis sui lavori più citati ad un meeting professionale "non uno solo dei miei colleghi aveva il minimo cenno di sorpresa o era disturbato dai suoi risultati". Ioannidis propone una teoria per una tale tranquilla accettazione dei suoi studi. "Non penso che le persone hanno pensato che stessi solo cercando di provocarli perchè ho mostrato che era proprio un problema della comunità invece di additare singoli esempi di cattiva ricerca", dice. In un certo modo è come se avesse fornito la possibilità per tutti di ammettere le problematiche che li affliggono senza la necessità di mostrarsi colpevoli, in quanto è come se tutti si comportassero nello stesso modo.
Dire che il lavoro di Ioannidis è stato accolto pienamente non gli renderebbe giustizia. Il suo studio pubblicato su PLoS Medicine è il più scaricato nella storia della rivista e non è nemmeno il lavoro più citato di Ioannidis, che è invece quello pubblicato in Nature Genetics sulla problematica dei legami genetici. Molti ricercatori vogliono lavorare con lui : ha pubblicato studi con 1328 diversi coautori di 538 istituzioni in 43 diversi paesi, dice. Stima di aver ricevuto l'anno scorso 1000 inviti a parlare ad altrettante conferenze ed istituzioni sparse per il mondo e accettava una media di 5 inviti al mese fino a che un problema di vertigini dovuto all'eccessivo viaggiare non l'ha fermato. Ciononostante, nelle settimane prima della mia visita aveva già partecipato ad una conferenza sull'AIDS a San Francisco, all'European Society for Clinical Investigation, all'Harvard’s School of Public Health, alla scuola di medicina di Stanford and Tufts.
A Ioannidis non sfugge l'ironia di aver avuto tutto questo successo accusando la comunità della ricerca medica di cercare solo il successo e nota che bisognerebbe sollevare il problema se lui stesso non stia gonfiando i suoi risultati. "Se conducessi uno studio e le conclusioni dimostrassero che nel campo della ricerca non ci fossero pregiudizi, lo pubblicherei?", si chiede. "Mi creerebbe un vero conflitto psicologico". Ma il suo cruccio più grande, dice, è quello che benchè i suoi colleghi ricercatori sembrano aver recepito il suo messaggio, nessuno in realtà si preoccupi di migliorare la qualità del proprio lavoro. "Forse non incontro grosse resistenze in quello che dico", spiega. "Ma è difficile cambiare il comportamento abituale ed il modo di pensare di medici, pazienti e persone sane".
Nonostante l'aspetto del campus della scuola di medicina dell'università di Ioannina sia decisamente caotico, l'ospedale ha un aspetto solido e rassicurante. Athina Tatsioni si offre di farmi visitare la struttura ma riusciamo a malapena a raggiungere l'entrata che una donna anziana dall'aria preoccupata la ferma. Tatsioni, normalmente piuttosto riservata, è molto calorosa con la signora e dopo una breve ma intensa conversazione la abbraccia e la saluta. Tatsioni mi spiega che quella donna e suo marito furono pazienti anni orsono, ed al momento il marito era ricoverato con dolori addominali. Tatsioni le aveva promesso di passare nella sua stanza per salutarlo. Ricordando la storia dell'appendicite la punzecchio in proposito e mi confessa di volerlo controllare personalmente. Deve però comportarsi in modo circospetto per non dare l'idea di voler controllare l'operato degli altri medici.
La sua preoccupazione non è tanto che gli asportino inutilmente l'appendice quanto la preoccupazione che, come accade a molti pazienti, gli vengano somministrati una serie di farmaci che possano essergli poco utili ed invece causargli problemi. Normalmente vengono richiesti una serie di esami biochimici come grasso epatico, funzionalità pancreatica e così via", mi dice. "I test potrebbero rivelare qualche problema, ma sono probabilmente irrilevanti. Una semplice chiacchierata con il paziente ed una anamnesi accurata potrebbe dare risultati migliori".
Ovviamente a tutti i medici è stato insegnato di far fare quegli esami, fa notare, e seguire quella pratica fa risparmiare tempo rispetto ad una lunga chiacchierata con il paziente. I medici vengono anche istruiti a somministrare al paziente ogni farmaco che che possa contribuire a sistemare i valori sballati. Ma quello che nessuno gli ha insegnato a fare è esaminare gli studi che supportano l'uso di questi farmaci come terapia standard. "Quando leggi gli articoli scopri spesso che i farmaci non funzionano meglio di un placebo. E nessuno ha studiato come interagiscono con altri farmaci. A volte basta togliere ad un paziente tutte le medicine per farlo stare subito meglio", dice Tatsioni. Non soltanto controllare le ricerchè è una attività che richiede tempo, ma spesso sono gli stessi pazienti che non vogliono rinunciare ai loro farmaci perchè li trovano rassicuranti.
Più tardi Ioannidis mi dice che ha scelto di avere diversi clinici nel suo team. "I ricercatori ed i medici spesso non si capiscono perchè parlano una lingua diversa", dice. Visto che alcuni dei suoi ricercatori passano più della metà del tempo a visitare i pazienti, spera che la sua squadra sarà in grado di colmare questo vuoto. La loro esperienza di prima mano viene comunicata ai team di ricerca e questo li aiuta a scrivere le ricerche con un linguaggio più convincente per i medici. Secondo lui non è necessario che i medici prendano le loro decisioni basandosi esclusicamente su prove certe perchè il trattamento dei pazienti è troppo complesso perchè sia possibile definire ogni singolo caso con uno studio dettagliato. "I medici devono sapersi affidare al loro istinto nel fare le proprie scelte. Ma queste scelte devono essere il più possibile supportate dalle prove. E se le prove non sono attendibili, i medici dovrebbero saperlo. E così i pazienti".
In effetti, la possibilità di divulgare i dati sulle ricerche mediche è una questione spinosa per la comunità dei metaricercatori. I medici hanno già l'impressione di dover faticare parecchio per impedire ai pazienti di rivolgersi a terapie alternative come l'omeopatia o di autodiagnosticarsi in modo errato via Internet, o più semplicemente di trascurare i trattamenti necessari, quindi non hanno nessuna voglia di fornire altre ragioni per evitare di fidarsi del loro operato. Tutto questo senza considerare che la disillusione del pubblico potrebbe ripecuotersi negativamente sui finanziamenti alla ricerca. A Ioannidis non interessano queste preoccupazioni. "Se non parliamo al pubblico di questi problemi allora non siamo migliori dei falsi scienziati che sostengono di poter guarire le persone", dice. "Se i farmaci non funzionano e non siamo sicuri di come curare una malattia, perchè dovremmo sostenere il contrario? Ma se effettivamente non siamo in grado di fare miracoli, per quanto tempo riusciremo ad ingannare l'opinione pubblica? La ricerca scientifica è probabilmente la più grande conquista nella storia dell'umanità, ma questo non implica di avere il diritto di ingigantire i nostri risultati".
Protremmo risolvere la grande degli errori, dice Ioannidis, semplicemente se smettessimo di aspettarci che gli scienziati abbiano sempre ragione. Questo perchè nella scienza va bene avere torto, ed è anche necessario - purchè si ammetta apertamente il proprio errore invece di nasconderlo, e si passi a qualcosa di nuovo finchè non si riesca ad arrivare a qualcosa di genuinamente rivoluzionario. Ma finchè le carriere rimarranno legate alla produzione di un fiume di ricerche abbellite per sembrare più corrette di quello che sono, gli scienziati produrranno esattamente quello.
"La scienza è una materia occupazione nobile, ma a basso rendimento", dice Iannodis. "Credo che solo una piccolissima percentuale della ricerca medica potrà portare miglioramenti notevoli negli esiti clinici e nella qualità della vita. Dobbiamo accettare serenamente questo fatto".
Collegamenti:
[1] http://ilporticodipinto.it/category/classificazione-articoli/medicina
[2] http://ilporticodipinto.it/category/classificazione-articoli/scienza
[3] http://www.theatlantic.com/magazine/archive/2010/11/lies-damned-lies-and-medical-science/8269/1/
[4] http://www.plosmedicine.org/search/advancedSearch.action?startPage=0&volume=&eLocationId=&id=&filterArticleType=&filterKeyword=&unformattedQuery=author:%22John+P+A+Ioannidis%22&sort=Most+views,+all+time&pageSize=50
[5] http://www.plosmedicine.org/article/info%3Adoi%2F10.1371%2Fjournal.pmed.0020124
[6] http://www.plosmedicine.org/search/advancedSearch.action?unformattedQuery=author:%22John+P+A+Ioannidis%22&sort=Most+views,+all+time&pageSize=50