The File Drawer Effect o los sesgos en las publicaciones científicas

Seguro que quienes os dedicáis a la investigación habéis sentido en más de una ocasión una gran decepción cuándo después de diseñar cuidadosamente una investigación y haber recogido esforzadamente una gran cantidad de datos, los análisis de estos no apoyan la hipótesis que pretendíais comprobar. ¡Tanto esfuerzo para nada!

Tampoco hay que dramatizar tanto, pensará el lector atento, ya que el estudio realizado ha aportado una información interesante: los resultados permiten descartar la hipótesis planteada, siempre que no existan defectos metodológicos importantes en su diseño. Por ejemplo, si la muestra es reducida es posible que la baja potencia estadística haga muy probable el error beta o tipo II, es decir, que afirmemos que no existen relaciones significativas entre dos variables, cuando en realidad existen.

No obstante, la frustración del investigador está más que justificada, ya que al no haber encontrado resultados positivos, tendrá más dificultades para conseguir que alguna revista los publique. Es lo que se ha venido denominando the file drawer effect, y es que algunos estudios ponen de manifiesto que hay un claro sesgo que hace más probable la publicación de los manuscritos con resultados positivos.

Recientemente, unos investigadores del Cochrane Center de Oxford (Reino Unido), a partir de una revisión sistemática de 196 ensayos clínicos, han concluido que los estudios con resultados estadísticamente significativos a favor de la hipótesis experimental se publican con más frecuencia y en un periodo de tiempo más breve.

Las razones de este sesgo tienen que ver tanto con las revistas como con los propios autores. Con las revistas porque los editores prefieren publicar artículos que encuentran apoyo a las hipótesis planteadas. En otros casos son los mismos autores los que deciden guardar en un cajón los resultados del estudio tras no encontrar lo que venían buscando. Esto será más probable cuando se trata de la evaluación de un tratamiento, un programa de intervención o un fármaco. Aunque en estas situaciones lo más honesto sería publicar que el tratamiento no tiene efectos positivos, los autores del estudio, que pueden ser los mismos que han diseñado el tratamiento, pueden preferir ocultar que su programa o tratamiento no es eficaz. Incluso puede darse el caso de que tenga consecuencias negativas para quienes lo siguen. En una entrada anterior nos hemos referido al interés de las compañías tabaqueras norteamericanas por ocultar los resultados negativos de algunos programas preventivos dirigidos a adolescentes que habían financiado (ver aquí).

Este sesgo en la publicación tiene también sus efectos distorsionadores sobre los meta-análisis que se llevan a cabo con la intención de resumir, aumentando la potencia estadística, los estudios llevados a cabo acerca de un determinado asunto. Como estos meta-análisis suelen llevarse a cabo con los estudios publicados, sus resultados estarán también sesgados a favor de aquellos que encuentran apoyo a la relación analizada (por ejemplo, entre un tratamiento y su eficacia).

Como señalan los autores del estudio publicado en The Cochrane Library, es preciso que las revistas hagan un mayor esfuerzo por publicar los estudios que no obtienen resultados positivos, de lo contrario será imposible realizar una evaluación equilibrada sobre la eficacia y seguridad de un tratamiento o programa. Por otra parte, debe evitarse que la evaluación de estas intervenciones sea llevada a cabo por los mismos equipos que las diseñaron o implementaron. De esta manera podremos tener una visión más objetiva de los fenómenos estudiados.