El azar y los sesgos científicos

El azar y los sesgos científicos

Suerte. Del lat. sors, sortis. Encadenamiento de sucesos considerado como fortuito o casual.

Casi todo el mundo cree en la suerte; algunos incluso creen en la mala o la buena suerte, pero pocos estamos preparados para entenderla. A pesar de que sea un concepto tan antiguo como la humanidad nuestro conocimiento de cómo funciona el mundo de las probabilidades es bastante limitado y nuestra intuición juega (nunca mejor dicho) en nuestra contra. Estos días he leído sobre eso en un libro de Nassim N. Taleb sobre el azar gracias a un préstamo de mi amigo David y a una recomendación de Microsiervos (uno de los blogs que más y mejor ha tratado este tema).

Dado egipcio de 20 caras anterior al año 30 a.C. (Fuente: Awesome Dice Blog)

Para ser más precisos, el libro habla de lo confundidos que estamos cuando percibimos el azar, y de la enorme cantidad de sesgos que tenemos. Aunque se centra principalmente en el efecto sobre los mercados financieros (y los operadores bursátiles), algunas de sus ideas me han hecho reflexionar desde la perspectiva de un científico. ¿Cuál es el papel de la suerte en la ciencia? ¿Qué sesgos nos afectan como científicos y cómo de graves pueden ser en nuestro trabajo?

  • Sesgo de atribución

Lo primero que conviene notar es que la gente suele mostrar una fuerte resistencia al azar. Está relacionado con el sesgo de atribución: tendemos a subestimar el papel de la suerte en nuestra vida, pero sólo cuando nos interesa. Cuando se trata de nuestros éxitos lo achacamos a nuestras habilidades, pero nuestros fracasos los atribuimos a la mala suerte. Es fácil reconocer este sesgo incluso en los niños, lo que indica lo pronto que lo desarrollamos. Si sentís que esto no os afecta a vosotros y queréis jugar con el azar os animo a visitar el proyecto Multiclick y luego me contáis.

¿Cuál es más aleatorio? No estamos diseñados para filtrar bien el azar. (Fuente: Microsiervos)

En el caso de los científicos, creo que esta resistencia se materializa en un habitual desprecio por  lo incontrolable. Al fin y al cabo la ciencia consiste en lo reproducible y determinista, que es justo lo opuesto al azar. Solemos basarnos en recetas del tipo «si pongo tal presión, y tal temperatura, y espero tantos segundos obtendré una muestra de tal composición y tal espesor». Nos gusta controlar la naturaleza con unos pocos parámetros, y por tanto nos cuesta prestar atención a todo lo ajeno; cosas como que hoy está lloviendo, que el último que hizo una muestra no esperó lo suficiente para que se enfriara el equipo, o que el sustrato esta vez se cortó de una oblea diferente. Sin embargo, pese a nuestra reticencia a admitir el papel del azar en nuestro trabajo, siempre aparecen casos de lo que yo denomino ciencia de una sola vez, o ejemplos como la muestra que nos decía cuando amanecía. Quizá deberíamos prestar más atención a lo que no dominamos y no tanta a lo que sí…

  • Sesgo de retrospectiva

Un conocido error del que tampoco nos libramos es el sesgo de la retrospectiva, que consiste en ver los acontecimientos históricos como algo inevitable, como una conclusión lógica, cuando en realidad no lo era. El famoso caso de «ya sabía yo que iba a pasar esto». Digamos que no estamos hechos para ver las cosas como independientes entre sí. Tendemos a pensar que sucesos relacionados temporalmente están también relacionados causalmente, y sólo porque algo pase antes no significa que sea la causa. Es una trampa refinada para caer en el error de correlación implica causalidad, y por el cual se puede llegar a confundir -en el peor de los casos- la causa con el efecto. A veces ni siquiera hay un efecto real, sino que el resultado es fruto del azar, pero de eso me gustaría hablar más a fondo y lo dejo para otra entrada.

Las crisis económicas; un claro ejemplo de sesgo de perspectiva. Todo el mundo es capaz de predecirlas después de que hayan pasado. (Fuente: The Telegraph)

  • Sesgo de confirmación

Aunque el libro no los menciona con este nombre, uno de los peores sesgos en los científicos son los de confirmación: condicionar los datos porque «los resultados tienen que dar esto». En este sentido hay una confusión muy común en la distinción entre señal y ruido. Esto parece muy fácil en la ciencia experimental, donde tenemos instrumentos muy precisos, pero en la realidad no es así porque la cuestión no estriba sólo en cómo de precisas son tus medidas, sino en cómo de significativas son tus muestras. ¿Cuántas veces habéis encontrado una muestra que no sigue la tendencia de las demás? ¿Qué hacéis entonces? ¿Es una señal o un ruido? Si sólo hay cuatro muestras en la serie y un punto malo eso es equivalente a un ruido del 25%.  Aquí hay un concepto importante: el ruido depende de la escala. Si en vez de cuatro haces 40 muestras y sólo ésa da mal, ese ruido será del 2.5%. Ahora bien, ¿cuántas veces hacemos eso? ¿Cuántas veces decidimos descartar alegremente datos inconvenientes (inconvenientes según nuestro juicio)?

Hay que saber distinguir entre señal y ruido. (Fuente de la imagen: DoctorDisruption)

Un ejemplo similar de este sesgo de confirmación que he detectado frecuentemente es confundir el peso de los datos experimentales con el de los datos teóricos. La gente que hace simulaciones «siente» que controla perfectamente los parámetros de su modelo, y cuando experimento y teoría no concuerdan muchos tienden a pensar que son ¡los datos experimentales los que tienen que confirmar la teoría! Empiezan a argumentar por qué el experimento no cuadra, por qué las muestras no son adecuadas… En varias ocasiones, sintiéndome como Winston Smith en 1984, me he visto obligado a parar la discusión diciendo: «Espera. Los datos no son negociables. El experimento es la realidad. La pregunta que hay que hacerse es ¿por qué la teoría no cuadra con la realidad?».

  • Sesgo evolutivo

Es un tipo de selección de los buenos datos que viene a resumirse en una frase: no todo lo que sobrevive es mejor. Algunos creen que la última actualización de software es siempre la mejor. ¿Por qué? Porque es la última, tiene que serlo. De la misma manera, hay científicos que creen que las muestras que «funcionan» (de acuerdo a cualquier patrón científico definido por nosotros) son las buenas. No tienen en cuenta la información de todas las que hicieron y no salieron, y peor aún, no saben que: ¡la información de todas las muestras que no hicieron también cuenta! A menudo uno empieza a sacar conclusiones precipitadas de una serie de muestras pero, cuando realiza nuevas series, descubre que estaba equivocado en sus razonamientos. ¿Qué habría pasado de no hacerlas? Hay que ser suficientemente crítico como para pensar no sólo en lo que has encontrado, sino en lo que podrías haber encontrado de haber hecho otros experimentos. En palabras de Taleb: que ocurra una realización de muchas historias no significa que sea la más representativa. No hay que olvidar el resto de historias que no han ocurrido.

Imagen del árbol evolutivo de la vida en la Tierra. «Evolución significa ser apto a una serie, no a la media.» Los humanos no somos la mejor especie. Somos una que ha sobrevivido bien hasta ahora.  (Fuente de la imagen: Evolutionary Tree Of Life)

  • Sesgo de inducción

La inducción no funciona bien con el azar y hay que tener cuidado con afirmaciones del tipo «nunca he observado que…», «nunca vas a conseguir que…», «siempre vas a tener…». A los científicos nos gusta mucho usar ese tipo de frases que demuestran autoridad. La creencia en este tipo de inducción puede llevar a problemas serios, como cuando se confunde la ausencia de evidencia con la evidencia de ausencia. El hecho de que yo no haya visto nunca un cisne negro no prueba que todos los cisnes sean blancos. Este error parece darse a menudo en medicina.

  • Sesgo biológico

Las emociones juegan un papel muy importante en la toma de decisiones. Es difícil luchar contra nuestros sesgos aunque los conozcamos. (Fuente de la imagen desconocida)

Quizá el peor de todos. Aparentemente nuestro cerebro está diseñado para ignorar los sesgos de una manera u otra: tenemos un cerebro bastante cegado al azar. No somos buenas máquinas para el análisis estadístico; somos buenos decisores (palabra que acabo de sacarme de la manga pero que aparentemente existe en la RAE). La supervivencia depende de la capacidad de poder tomar decisiones rápidas, basadas a menudo en pocos datos. No importa cuál sea nuestra heurística elegida o lo advertidos que estemos sobre nuestros sesgos: los estudios sugieren que no pensamos cuando elegimos. La objetividad es muy complicada cuando se trata de eso. Los centros encargados de la toma de decisiones son diferentes a los encargados del análisis crítico, así que podemos ser bastante contradictorios: podemos saber que la probabilidad de algo es muy baja y, a pesar de ello, apostar por eso. Podemos ver que los datos indican una cosa y seguir defendiendo un modelo contrario sólo porque es nuestro.

En fin, creo que la conclusión final es que, aunque nos cueste admitirlo como científicos, damos por sentadas demasiadas cosas demasiadas veces. Y como no puedo resumirlo mejor que Richard Feynman, acabo dejándole la última palabra:

El primer principio es que no te debes engañar a ti mismo, y tú eres la persona más fácil de engañar. Así que ten mucho cuidado con eso.

@DayInLab

P.D.: Evidentemente (¿o debería decir afortunadamente?) la suerte no lo es todo en esta vida. Recientemente he leído un tuit que decía que la gente con suerte tiene ocho hábitos: trabajar duro, quejarse poco, enseñar a otros, dejarse enseñar, compartir los méritos, llegar a tiempo, ser amable, mostrar gratitud. Puede resultar imposible cambiar nuestra suerte, pero lo que sí se puede cambiar es nuestra actitud.