Massimiano Bucchi, la Repubblica 7/6/2014, 7 giugno 2014
SE LA SCIENZA COME PAGANINI NON RIPETE GLI ESPERIMENTI
Nel 1989, oltre sessanta laboratori in tutto il mondo affermarono di aver replicato l’esperimento annunciato con clamore poco tempo prima dai chimici Pons e Fleischmann, ottenendo fusione nucleare “fredda”. Nei mesi seguenti, tuttavia, altri laboratori smentirono quelle conclusioni, riportando numerosi tentativi falliti. La possibilità di riprodurre i risultati sperimentali è uno dei cardini della scienza moderna, emblema del suo carattere pubblico che la contrappone fin dalle origini a forme di conoscenza esoterica quali l’alchimia.
Un tratto complementare a quello che il sociologo Robert K. Merton definiva “scetticismo organizzato”: non dare nulla per scontato né accettare alcun argomento “per autorità” senza verificare le affermazioni altrui.
Tuttavia, come ben sanno gli addetti ai lavori, riprodurre un esperimento è tutt’altro che banale. Talvolta i colleghi non hanno completo accesso alle informazioni tecniche necessarie, e in molti casi emerge anche la rilevanza di quella conoscenza tacita e difficilmente verbalizzabile che è spesso cruciale anche nei settori tecnologici più sofisticati: capacità manuali, “occhio addestrato”, piccoli accorgimenti tecnici.
Alla fine degli anni Sessanta, vari laboratori tentarono invano di costruire un laser identico a quello descritto in un articolo da un gruppo di ricerca canadese. Ci riuscirono, infine, solo dopo una lunga serie di incontri diretti tra i gruppi di ricerca, visite di ricercatori e tecnici ai laboratori altrui, scambi di materiale e di strumenti.
Oggi, tuttavia, lo stesso incentivo a replicare i risultati altrui è sempre minore. Le riviste scientifiche sono interessate a pubblicare risultati originali e innovativi, più che a dare spazio ad accurate e analitiche discussioni di risultati già noti. È difficile, quindi, in simili condizioni, pensare che uno studioso, soprattutto se giovane e sotto pressione per pubblicare su riviste di prestigio e ottenere quelle citazioni così preziose per la propria carriera, possa investire tempo e risorse per ripetere gli esperimenti dei colleghi, nonché per convincere potenziali finanziatori dell’utilità di una simile iniziativa. Una delle indicazioni più clamorose di questa tendenza viene dal fatto che nella maggior parte delle discipline e riviste scientifiche stanno scomparendo i “risultati negativi”, ovvero quegli studi, potenzialmente così preziosi, che ci dicono che un’ipotesi è da scartare, che qualcosa non funziona.
Secondo un’ampia ricerca condotta su oltre 4000 articoli in diverse discipline, l’86 per cento degli studi pubblicati conferma la propria ipotesi di partenza. Gran bella cosa a prima vista, ma pessima notizia secondo numerosi esponenti della stessa comunità scientifica: in questa massa di successi trionfali vi sarebbe infatti una tendenza a sopravvalutare effetti modesti e a sottovalutare incertezze e aspetti meno convincenti.
La tendenza è oltretutto in aumento (+22 per cento negli ultimi vent’anni) e – ulteriore cattiva notizia – spicca soprattutto in alcuni settori, tra cui la psicologia e le scienze biomediche. In queste ultime pesa anche il ruolo dei finanziatori, che contribuiscono ad aumentare la pressione a minimizzare o semplicemente non pubblicare risultati negativi. John Ioannidis, epidemiologo della Stanford University da tempo attivo su queste tematiche, ha estratto a caso cinquanta ingredienti da un diffuso manuale di cucina e poi li ha cercati nella letteratura specialistica epidemiologica. Ben quaranta ingredienti sono risultati potenzialmente associati con il rischio o con la prevenzione del cancro (non riporto la lista, oltre che per ragioni di spazio, per non rovinarvi l’appetito, ma è probabile che ne abbiate mangiato o bevuto almeno uno stamattina); di questi quaranta molti sono associati sia con il rischio che con la prevenzione. «Ma andando bene a vedere» commenta Ioannidis «molti effetti sono poco significativi e raramente confermati».
Un paio di anni fa, un gruppo di scienziati ha rivelato sulla prestigiosa rivista Nature di essere riuscito a replicare solo sei su oltre cinquanta ricerche tra le più influenti (e citate!) proprio nell’ambito della ricerca oncologica. In psicologia, solo il 4 per cento degli articoli pubblicati viene effettivamente replicato. Secondo Joseph Simmons della University of Pennsylvania, una responsabilità cospicua è da attribuire allo stesso processo di revisione degli articoli proposti alle riviste: «Spesso noi colleghi chiediamo agli autori di dimostrare che i loro risultati sono originali e interessanti, più che solidi e ripetibili».
Simmons ha pubblicato provocatoriamente sulla rivista Psychological Science un articolo da cui risulta che ascoltare la canzone dei Beatles When I’m Sixty Four fa ringiovanire in media un anno e mezzo, dimostrando così «quanto sia inaccettabilmente facile trovare risultati statisticamente significativi a sostegno di una certa ipotesi». Molti ritengono altresì che l’assenza di incentivi alla replica e verifica dei risultati alimenti il rischio di quelle frodi e manipolazioni di dati che anche recentemente sono emerse con grande scalpore.
Negli ultimi tempi, tuttavia, una parte del mondo scientifico ha iniziato a reagire con forza a questa situazione. Sono nate riviste come il Journal of Articles in Support of the Null Hypothesis : pubblica solo articoli che smentiscono le ipotesi di partenza, ma stenta a decollare. Alcuni tra i magazine scientifici più influenti hanno annunciato che chiederanno agli autori di fornire informazioni più complete e dettagliate che facilitino la replica.
«Se vale la pena fare un lavoro, vale anche la pena di farlo due volte» sostiene un editoriale di Nature. Qualche settimana fa, sono usciti i risultati di un ampio progetto di rifacimento di risultati che coinvolge oltre cento psicologi: uno sforzo generalmente apprezzato, anche se alcuni degli autori degli studi sotto esame lo hanno paragonato a “un’inquisizione”. Ancor più ambiziosa è la Reproducibility Initiative che prevede tra l’altro la convalidazione dei cinquanta studi con maggior impatto nella ricerca sul cancro pubblicati tra il 2010 e il 2012. Per non dimenticare, secondo una giovane ricercatrice, ciò che amava ripetere il biochimico e scrittore Isaac Asimov: «la frase più eccitante nella scienza non è “Eureka! (Ho trovato! )”, ma: “Toh, che strano!”.
Massimiano Bucchi, la Repubblica 7/6/2014