Estadísticamente significativo

Los estudios científicos tienen que cumplir una serie de criterios para que sean válidos y de no cumplirlos es lo que en un post anterior  se definió como “mala ciencia“. Pero además, aún estando bien diseñados, muchos estudios (especialmente estudios clínicos) cometen dos errores muy comunes en la interpretación de los resultados:

  • Una correlación no siempre implica causalidad
  • La significación estadística no implica siempre relevancia de los resultados.

Existen muchos ejemplos que muestran claramente la diferencia entre la correlación y causalidad (Imagen 1). En muchos estudios la diferencia no es tan obvia y se puede caer en el error de establecer que la causa de una enfermedad se debe a un determinado hábito o alimento, que aún siendo importantes pueden ser sólo covariables. En los estudios actuales sucede con cierta frecuencia, ya que al incrementarse el número de variables aumenta la probabilidad de que se produzcan correlaciones estadísticamente significativas. Además, estas covariables pueden enmascarar la verdadera causa de estudio y dar lugar a conclusiones erróneas con gran impacto social.

Imagen 1. Ejemplos de correlaciones que no implican ninguna causalidad. Fuente: Bloomberg.

El debate sobre la significación es muy relevante, aunque algo más académico, ya que surge ante el creciente problema de reproducibilidad de muchos estudios científicos, muy relacionado con la presión administrativa y económica del “publish or perish” (Imagen 2).

21688268_727562900769738_5351111374106257763_o.png
Imagen 2. Publish or perish. Fuente: Pedromics (estupendas tiras cómicas sobre ciencia).

De forma sencilla se puede decir que la significación estadística es la forma matemática de contrastar las hipótesis de los experimentos de un modo más científico que el criterio “a ojo”. En la mayoría de estudios se ha utilizado y utiliza como criterio el conocido como p-valor (p<0,05). Este valor va acompañado de la frase mágica "estadísticamente significativo", que se suele malinterpretar como la probabilidad de que nuestra hipótesis sea correcta o falsa, cuando realmente es la probabilidad del efecto observado si la hipótesis nula (no hay relación entre efectos o grupos) fuese verdadera (para una explicación más desarrollada podéis leer este enlace).

Uno de los mayores problemas del p-valor es que a veces sirve como número que inmediatamente da validez a los resultados (Imagen 3) pero puede existir diferencia significativa en casos donde la relevancia de los resultados puede ser limitada. Por ejemplo, cuando hay mucha diferencia entre los grupos pero hay muy pocos individuos en cada grupo y en el otro extremo cuando hay muchísimos datos pero las diferencias son muy pequeñas.

p_values_2x.png
Imagen 3. Interpretación en clave de humor de los p-valores. Fuente: xkcd (otra estupenda web de tiras cómicas de ciencia). 

Estas precauciones son bastante útiles a la hora de leer noticias sobre estudios de nutrición, psicología o sociología donde se suelen dar titulares muy sensacionalistas con conclusiones categóricas, que en ocasiones se basan en alguno de los problemas mencionados y dan lugar a la sensación de contradicción en estos temas.

Para saber más sobre las limitaciones y precauciones sobre correlación y p-valor en investigación merece la pena leer “Statistics done wrong“, un libro corto que profundiza en este tema de forma clara y amena.

Editado en Noviembre de 2018

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s