Mala ciencia (45 page)

Más aún, ¿qué significa exactamente «aborto» en esa pregunta? Si nos fijamos en los comentarios vertidos en el foro del chat, ya les puedo adelantar que muchos de los doctores parecían creer que se trataba de abortos quirúrgicos, y no de la píldora oral (y relativamente segura) que también se puede administrar para la interrupción de un embarazo. Los médicos no somos tan inteligentes, ¿saben? He aquí algunas citas:

Y ésta es mi favorita:

Las estadísticas nos abruman

Sería un error suponer que los descuidos que hemos abordado hasta el momento se limitan a los estratos más bajos de la sociedad, como los médicos y los periodistas. Algunos de los ejemplos más aleccionadores provienen de la cima misma.

En 2006, tras un importante informe del gobierno, los medios dieron la noticia de que cada semana se comete un asesinato a manos de una persona con problemas psiquiátricos. Los psiquiatras deberían tener más cuidado, nos contaron entonces los periódicos, a fin de impedir más asesinatos de ese tipo. Todos nosotros estaríamos de acuerdo, sin duda, con cualquier medida sensata dirigida a mejorar la gestión del riesgo y la violencia, y siempre es buen momento para abrir un debate público sobre la ética de una práctica como la custodia policial de los pacientes psiquiátricos (aunque, para ser justos, también me gustaría que se debatiera sobre la detención preventiva como posibilidad para todos los demás grupos de riesgo, como los alcohólicos, los violentos reincidentes, los que abusan del personal de atención al público en la oficina de empleo, etc.).

Pero para embarcarnos en semejante discusión, antes tenemos que entender bien los fundamentos matemáticos del arte de predecir sucesos muy raros. Tomemos un ejemplo muy concreto y fijémonos en la prueba del VIH. ¿Qué elementos de un procedimiento diagnóstico medimos para juzgar su utilidad potencial? Los estadísticos dirían que el análisis de sangre para la detección del VIH tiene una «sensibilidad» muy elevada, del 0,999. Eso significa que si la persona analizada tiene el virus, existe un 99,9 % de probabilidades de que el análisis de sangre salga positivo. También dirían que la mencionada prueba tiene una «especificidad» elevada del 0,9999: es decir, que si una persona no está infectada, existe un 99,99 % de probabilidades de que el análisis salga negativo. ¡Qué análisis de sangre más fantástico!
^[*]

Pero si lo miramos desde la perspectiva de la persona analizada, los mencionados fundamentos matemáticos se tornan un tanto contraintuitivos. Y es que, por extraño que parezca, el significado (el valor predictivo) del resultado positivo o negativo de un individuo cambia según la situación. Concretamente, dependiendo de la «rareza» de fondo del suceso que la prueba trata de detectar. Cuanto más raro es el suceso entre la población de referencia, peor se vuelve la capacidad de detección de la prueba, aun siendo la misma que antes.
^[5]

Esto es más fácil de comprender con cifras concretas. Supongamos que el índice de infección por VIH entre los varones de alto riesgo de una zona determinada es del 1,5 %. Si sometemos a 10.000 de esos hombres a nuestro excelente análisis de sangre, podremos esperar 151 resultados positivos en total: 150 serán los varones verdaderamente infectados con VIH, que obtendrán auténticos positivos en sus análisis sanguíneos, pero uno corresponderá al falso positivo que podemos esperar que se produzca por cada 10.000 casos de hombres VIH-negativos sometidos a una prueba que se equivoca una vez de cada diez mil. Así pues, si alguno de ustedes obtuviera un positivo por VIH en un análisis de sangre, en esas circunstancias, las probabilidades de que sea verdaderamente seropositivo serán de 150 entre 151. Desde este punto de vista, es una prueba sumamente predictiva.

Usemos ahora, sin embargo, esa misma prueba con un trasfondo distinto: un índice de infección por VIH entre la población de, aproximadamente, un caso por cada 10.000. Si analizamos a 10.000 personas, podremos esperar entonces dos resultados positivos en total: uno correspondiente a la persona que realmente es seropositiva, más el falso positivo que ya podíamos esperar (como en el caso anterior) de someter a 10.000 varones VIH-negativos a una prueba que se equivoca una vez de cada diez mil.

De repente, pues, cuando el índice de fondo de un suceso nos dice que éste es raro, hasta nuestro anteriormente brillante análisis de sangre se vuelve un tanto malo. Para los dos hombres que han obtenido un resultado positivo en la prueba del VIH —en esta población en la que sólo uno de cada 10.000 varones está infectado por el VIH—, la probabilidad de que realmente sean seropositivos es sólo del 50 %.

Pensemos ahora en el caso de la violencia.
^[6]
La mejor herramienta predictiva de la violencia psiquiátrica tiene una «sensibilidad» de 0,75, y una «especificidad» de 0,75 también. Cuesta mucho más ser precisos cuando de lo que se trata es de predecir un suceso en seres humanos (con sus mentalidades y sus cambiantes vidas). Supongamos que un 5 % de los pacientes atendidos por un equipo de salud mental acabarán implicados en un incidente violento a lo largo del año. Realizando los mismos cálculos matemáticos que empleamos para las pruebas del VIH, tendremos que nuestra herramienta predictiva de «0,75» se equivocará 86 veces de cada cien. En el caso de la violencia grave, cuya incidencia es de un 1 % anual, con nuestra mejor herramienta (la de «0,75»), señalaremos a un perpetrador potencial incorrecto en 97 ocasiones de cada cien. ¿Detendremos preventivamente a 97 personas inocentes para impedir tres incidentes violentos? ¿Y aplicaremos también esa norma a los alcohólicos y a otros elementos antisociales?

En el caso del asesinato, el tipo de delito sumamente raro que se comentaba en aquel informe y contra el que más acciones y medidas se pedían (tan raro que, al año, sólo lo comete uno de cada 10.000 pacientes aquejados de psicosis), la tasa de falsos positivos es tan elevada que la mejor prueba predictiva resulta completamente inútil.

Con esto no pretendo que nos demos por rendidos. Hay cosas que sí se pueden hacer y siempre podemos tratar de reducir el número de enigmas reales serios, aunque resulte difícil saber qué proporción de ese «asesinato semanal» corresponde a un fallo claro del sistema, pues cuando echamos la vista atrás a la historia, a través del «retrospectoscopio», todo lo acaecido se nos presenta como si condujera inexorablemente al suceso negativo que estamos analizando ahora. Yo me limito a proporcionarles los fundamentos matemáticos de los cálculos relacionados con los sucesos raros. Lo que ustedes hagan con ellos es cosa suya.

Las estadísticas nos llevan a la cárcel

En 1999, la abogada Sally Clark fue llevada a juicio por asesinar a sus dos bebés. La mayoría de la gente recuerda que hubo alguna especie de error estadístico en la argumentación de la fiscalía, pero pocos conocen la verdadera historia o, lo que es lo mismo, el fenomenal alcance de la ignorancia estadística que se evidenció en aquel caso.

En aquel juicio, el profesor sir Roy Meadow, un experto en padres y madres maltratadores, fue llamado a testificar para dar su opinión como entendido en la materia. En su tristemente famosa declaración, Meadow mencionó que la probabilidad de que dos niños de la misma familia murieran de síndrome de muerte súbita del lactante (SMSL) era de «una entre 73 millones».

Ésta era una prueba sumamente problemática por dos motivos muy distintos: uno resulta fácil de entender, el otro es todo un lío mental. Puesto que ustedes tienen la capacidad de concentración necesaria para seguir las dos próximas páginas, estoy seguro de que acabarán siendo más inteligentes que sir Roy (el profesor), que el juez del caso de Sally Clark, que sus abogados defensores, que los jueces del tribunal de apelación, y que casi todos los periodistas y los comentaristas judiciales que informaron sobre el juicio. Comenzaremos por el motivo sencillo.

La falacia del entorno

La cifra de «una posibilidad entre 73 millones» era, en sí misma, muy dudosa, como todo el mundo acepta hoy en día. Fue el resultado de calcular 8.543 × 8.543, como si las probabilidades de que se produjeran dos muertes súbitas en lactantes (SMSL) en esa familia en concreto fuesen independientes entre sí. Eso parece equivocado ya desde un principio y cualquiera puede ver por qué: podrían haber intervenido factores ambientales o genéticos que ambos bebés compartieran. Pero olvídense de lo ufanos que se puedan sentir por haber entendido esa posibilidad. Aun aceptando que dos casos de SMSL en una misma familia son un suceso con probabilidades mucho más altas que una entre 73 millones (digamos, por poner un caso, que una entre 10.000 tal vez sea una probabilidad más realista), cualquier cifra de ese tipo no deja de ser de dudosa relevancia, como veremos a continuación.

La falacia del fiscal

La verdadera pregunta en este caso es: ¿qué hacemos con ese número espurio? Muchas noticias recogidas en la prensa por aquel entonces afirmaban que una entre 73 millones era la probabilidad de que las muertes de los dos hijos de Sally Clark fueran accidentales: es decir, la probabilidad de que ella fuera inocente. Durante el proceso judicial, muchos compartieron, al parecer, ese punto de vista, y desde luego, el dato ha permanecido en la mente colectiva como una especie de «factoide» o verdad espuria. Pero estamos ante un ejemplo de un conocido y sobradamente documentado razonamiento erróneo que se suele denominar «falacia del fiscal».

Dos bebés de una misma familia han fallecido. Eso, en sí mismo, es muy raro. Una vez ha ocurrido un suceso tan raro como éste, el jurado tiene que sopesar dos explicaciones alternativas y contradictorias de las muertes de los pequeños: un doble caso de SMSL o un doble asesinato. En circunstancias normales (es decir, antes de que haya muerto bebé alguno), un doble SMSL es sumamente improbable, pero también lo es un doble asesinato. Pero ahora que se ha producido la harto improbable muerte de dos bebés en una misma familia, las dos explicaciones (el doble asesinato o el doble SMSL) pasan de pronto a resultar muy probables… ambas. Si de verdad quisiéramos jugar a ser estadísticos, tendríamos que averiguar cuál de las dos es relativamente
más
rara: la del doble SMSL o la del doble asesinato. Pues bien, hay quien ha tratado de calcular los riesgos relativos de esos dos sucesos, y un trabajo en concreto ha llegado a cifrarlos en torno a 2 a 1 a favor del doble SMSL.

Pues bien, no sólo se pasó por alto este matiz
crucial
de la falacia del fiscal en el momento del juicio en primera instancia (inadvertido para todos los presentes en la sala de vistas), sino que tampoco se dieron cuenta del mismo en la vista de apelación, en la que los magistrados del tribunal se limitaron a sugerir que, en vez de «una entre 73 millones», Meadow debería haber dicho simplemente que era una posibilidad «muy rara». El tribunal admitió los errores de cálculo del experto y el sencillo problema de la falacia del entorno, pero continuó aceptando su cifra como prueba de «un hecho más general, como es la rareza de un doble SMSL».

Esto, como ya entenderán ahora, constituía un absoluto desatino: la rareza de un doble SMSL es irrelevante aquí, porque el doble asesinato también es sumamente raro. Todo un proceso judicial fue incapaz de detectar el matiz sobre cómo debía usarse aquella cifra. Y por dos veces.

Meadow cometió una estupidez y ha sido reiteradamente vilipendiado desde entonces (en un proceso que, según algunos, se ha visto agravado por la caza de brujas desatada contra los pediatras que trabajan en el maltrato infantil), pero, si bien es cierto que él debería haber detectado y previsto los problemas que encerraría la interpretación de su cifra, eso mismo deberían haber hecho también las demás personas implicadas en el caso. Un pediatra no tiene por qué ser más ducho en números que un abogado, un juez, un periodista, un miembro del jurado o un alguacil. La falacia del fiscal resulta también muy relevante, por ejemplo, a la hora de evaluar las pruebas de ADN, cuya interpretación suele depender de complejas cuestiones matemáticas y contextuales. Cualquiera que vaya a dedicarse a los números y que vaya a usarlos y a pensar con ellos, y a persuadir con ellos (por no hablar de encerrar a la gente en la cárcel mediante ellos), tiene también la responsabilidad de entenderlos. Lo único que ustedes han hecho ha sido leer un libro de ciencia popular sobre ellos y ya ven que no tienen mucho misterio.

Perder a la lotería

Se puede tener muy mala suerte de veras. Una enfermera llamada Lucia de Berk lleva seis años presa en Holanda, condenada por siete delitos de asesinato consumados y tres en grado de tentativa. Durante su turno de servicio, falleció un número inusitadamente elevado de personas, y eso, esencialmente, unido a alguna que otra prueba circunstancial muy débil, es lo que conforma la sustancia de la acusación que la llevó a la cárcel. Jamás ha confesado, sigue proclamando su inocencia y su juicio ha generado un amplio número de artículos teóricos en las publicaciones especializadas en estadística.
^[7]