Tutto è iniziato con la psicologia, per poi allargarsi a macchia d’olio fino a contagiare quasi tutti gli ambiti della ricercascientifica. È la cosiddetta crisi di riproducibilità: la presa di coscienza da parte della comunità scientifica dell’impossibilità di ripetere molti dei risultati pubblicati sulle riviste di settore. Un problema non da poco, che mette in crisi uno dei capisaldi della scienza moderna: la sua oggettività, garantita appunto (almeno a livello teorico) dalla possibilità di ripetere e verificare in ogni momento i risultati di un esperimento. Presa coscienza della malattia comunque, la comunità scientifica si è attivata ormai da anni per cercare una cura. E proprio in questi giorni ha fatto il suo debutto uno dei tentativi di soluzione più radicali: il registered report, una nuova tipologia di articolo scientifico pensato per attaccare alla radice le cause di questa crisi, che da oggi verrà accettato, e pubblicato, sulle pagine di Bmc Medicine, una delle più prestigiose riviste mediche del pianeta.
Per capire meglio di cosa stiamo parlando è necessario però ricordare due concetti chiave di questa crisi della riproducibilità: due dei cosiddetti bias(termine traducibile più o meno come “errori”) che piagano il mondo della letteratura scientifica. Il primo è il publication bias, cioè la tendenza a pubblicare più facilmente i risultatipositivi rispetto a quelli negativi. Pensiamo a un trial clinico che valuta l’efficacia di una nuova terapia.
In un mondo ideale, la ricerca dovrebbe avere le stesse probabilità di essere pubblicata su un’importante rivista medica a prescindere dai risultatiottenuti. Anche perché un esito negativo (che dimostri cioè l’inefficacia del nuovo trattamento) ha la stessa rilevanza scientifica di uno positivo, se non addirittura un’importanza maggiore visto che indica l’inutilità della nuova terapia.
Nella realtà le cose sono molto diverse: pubblicare risultati negativi risulta estremamente difficile. E questo influenza inevitabilmente alcuni ricercatori (la cui carriera spesso dipende dalla capacità di pubblicare continuamente nuovi studi), spingendo a ritoccare (più o meno volontariamente) i risultati, o ad abbandonare velocemente le ricerche che non hanno esito positivo senza neanche tentare la strada della pubblicazione.
Il secondo problema è quello che Chris Chambers, professore di neuroscienze cognitive dell’Università di Cardiff, definisce sulle pagine delGuardian “hidden outcome switching”, ovvero la tendenza a cambiare l’obbiettivo di uno studio dopo averlo effettuato. Per comprendere il problema bisogna ricordare che in qualunque ricerca o trial ci si trova a lavorare con una grande mole di variabili. E nel corso dell’analisi dei dati raccolti è facile individuare almeno una di queste variabili per cui l’esperimento sembra dare risultati interessanti. Per garantire la correttezza delle ricerche è necessario però specificare in anticipo quali sono i risultati (o gli outcome) che si intende misurare, perché il design dello studio garantisce la correttezza di alcune correlazioni, ma non necessariamente quella di altre (che potrebbero essere influenzate da parametri non analizzati o essere dovute a fluttuazioni statistiche impreviste).
Sotto pressione, schiacciati dalla logica del publish or perish (letteralmente pubblica o muori, una formula che indica la necessità di pubblicare a ritmo sostenuto per mantenere una posizione prestigiosa a livello universitario) molti ricercatori possono cedere però alla tentazione di ritoccare i risultati, cambiando in corso l’obbiettivo di uno studio per garantire un risultato positivo, e quindi più facile da pubblicare. E proprio da atteggiamenti di questo tipo, ritocchi dei dati o dei protocolli sperimentali per facilitare la pubblicazione del proprio studio, nasce la crisi di riproducibilità.
È per affrontarla, eliminando i due bias, che nasce il concetto di registered report: una tipologia nuova di articolo scientifico che vuole garantire la pubblicazione delle ricerche indipendentemente dal risultato, e impedire al contempo che venga modificato in alcun modo il protocollo degli studi. In un registered report uno studio viene sottoposto alla rivista prima che si inizino a raccogliere i dati, e questa lo valuta basandosi unicamente sul tema affrontato e sulla qualità del protocollo sperimentale scelto. Ottenuto l’ok i ricercatori sanno che il loro lavoro sarà pubblicato in ogni caso, indipendentemente dai risultati, e procedono quindi con la raccolta dei dati. Ottenuti i risultati, questi vengono nuovamente sottoposti a peer review, per verificare che non sia stata effettuata nessuna deviazione dal protocollo proposto. E se tutto va come sperato, l’articolo viene quindi pubblicato.
Una risposta tutto sommato semplice alla crisi di riproducibilità, nata qualche anno fa proprio nell’ambito della psicologia (uno dei campi più colpiti dal problema) ma che solo oggi sbarca finalmente su una delle più importanti riviste scientifiche del pianeta. Gli altri grandi dell’editoria scientifica seguiranno l’esempio di Bmc Medicine? Sarà sufficiente a ripristinare la fiducia nel metodo scientifico? È presto per dirlo, ma di certo si tratta di un importante passo in avanti.
via Wired.it
