Una parte delle pubblicazioni scientifiche nel campo delle neuroscienze potrebbe essere sbagliata. O quantomeno inattendibile. È l’allarme lanciato da Marcus Munafò e colleghi, psicologi e neurologi della University of Bristol e della University of Virginia, sulle pagine di Nature Reviews Neuroscience. I ricercatori hanno analizzato 730 studi nel campo delle neuroscienze pubblicati nel 2011, concludendo che la maggior parte delle scoperte rivendicate potrebbe essere statisticamente non affidabile.
In effetti, come racconta Wired.com, il campo delle neuroscienze cognitive e della psicologia ha avuto qualche scivolone negli ultimi anni. Soprattutto a causa di ciarlatani, scoperte non verificabili e studi basati su statistiche scadenti. Nel loro lavoro, gli scienziati si sono concentrati soprattutto sulla cosiddetta potenza statistica degli studi, cioè sulla probabilità che una ricerca riveli un certo effetto se questo effetto è davvero presente. La potenza statistica è legata sostanzialmente a due fattori: ladimensione del campione (il numero di soggetti osservati in una ricerca, per esempio) e la dimensione dell’effetto (la differenza nel volume cerebrale tra soggetti sani e soggetti malati di Alzheimer, per esempio). Più persone sono coinvolte nello studio e più grande è la dimensione dell’effetto, maggiore è la potenza statistica.
Il fatto che uno studio abbia potenza statistica insufficiente comporta conseguenze abbastanza negative dal punto di vista scientifico. È probabile che uno studio sottodimensionato non osservi un effetto che invece esiste, o includa un’alta proporzione dei cosiddetti falsi positivi, cioè effetti che raggiungono significatività statistica (e quindi vengono dati per veri) ma non sono reali.
La soglia che i ricercatori si pongono come obiettivo perché uno studio sia attendibile è in genere fissata all’ 80%. Vuol dire che, se un certo effetto fosse vero, la ricerca lo rivelerebbe otto volte su dieci. Ma circa la metà dei lavori studiati dall’équipe di Munafò aveva una potenza statistica al di sotto del 20%. E c’è di peggio. Per quanto riguarda gli studi di imaging cerebrale, la mediana della potenza statistica era appena dell’8% (in altre parole, metà dei risultati sono al di sopra di questo valore e metà al di sotto). Per due diverse tipologie di studi sugli animali, soprattutto nel campo della memoria, la mediana era del 18% e del 31%.
Non è un quadro confortante. E, tra l’altro, non è neanche la prima volta che gli scienziati hanno sollevato preoccupazioni di questo genere. “Stavolta, però, si tratta di una valutazione formale, numeri alla mano”, sottolinea Russ Poldrack, neuroscienziato cognitivo alla University of Texas, Austin, che non ha partecipato allo studio. “Sfortunatamente, nella comunità scientifica c’è ancora un gran numero di persone che vogliono far finta che questo problema non esista”. Poldrack è anche preoccupato per le conseguenze etiche della questione: “Se si conducono studi sottodimensionati su animali, si rischia di non scoprire nulla, e di sacrificare inutilmente esseri viventi. E lo stesso vale per gli esseri umani coinvolti nei testi clinici: anche se non rischiano la vita, non vengono comunque trattati con il rispetto che meriterebbero in quanto soggetti di ricerca”.
I ricercatori hanno individuato in due fattori le cause scatenanti di questa situazione. Anzitutto, ildenaro. Molti scienziati devono arrancare per trovare finanziamenti, ed eseguire studi più piccoli è un’escamotage per far durare più a lungo gli assegni di ricerca. E, in secondo luogo, la pressione subita dai ricercatori per pubblicare il più spesso possibile: “In molti casi, siamo più incentivati a essere produttivi che a essere scientificamente corretti“, protesta Munafò.
Per uscire dall’impasse, Munafò suggerisce di prendere spunto da quello che è accaduto nel campo della genetica, dove i ricercatori hanno fronteggiato il problema degli studi sottodimensionati aggregandosi insieme ad altri gruppi di ricerca per aumentare il volume dei dati. Il progetto OpenfMRI, guidato da Poldrack, è un esempio di applicazione di sforzi di questo tipo nell’ambito delle neuroscienze. Se non si perseguirà questa strada, conclude amaro Munafò, il valore scientifico delle pubblicazioni è destinato irrimediabilmente a diminuire sempre più.
Riferimenti: Nature Reviews Neuroscience doi:10.1038/nrn3475
Credits immagine: thelunch_box/Flickr
Via: Wired.it
