El difícil oficio de hacer predicciones (o el porqué Trump fue una sorpresa) por @carlosmoyaq

“No one is as smart as they seem when they win.  No one is as dumb as they seem when they lose”

Martes 8 de Noviembre de 2016, 10:30 pm EST. CNN comienza a mostrar los primeros resultados de una de las elecciones más extrañas en la historia reciente de los Estados Unidos.

¡No puede ser! ¿De verdad va a ganar este tipo?  – se lee en un grupo de WhatsApp- ¡Esto es insólito! Me siento en 1998.

Cálmate! Mira el pronóstico de Nate Silver -escribe la voz de la cordura- Dice que Hillary aún tiene 70% de probabilidades de ganar. ¡Va a ganar!  

-Me retiro, voy a prenderle una vela –dice otro creyente.

Nate Silver, economista y director del popular blog de estadística fivethirtyeight, es la referencia obligada en proyecciones electorales para expertos y aficionados. Su ingenioso análisis que combina resultados de distintas encuestadoras, le permitió predecir con exactitud el ganador en 49 de los 50 estados durante las elecciones presidenciales del 2008. Cuatro años después, en 2012, terminó por consumar su prestigio al acertar el resultado en los 50 estados de la nación norteamericana.

Desde el comienzo mismo de la campaña presidencial, los modelos de Silver daban a Hillary Clinton como la favorita para convertirse en el 45vo presidente de los Estados Unidos. Si para las 10:30 pm del día de la elección aún se mantenía Hillary como favorita, no debía haber espacio para la duda. Sin embargo, pocos minutos pasadas las 11 de la noche entró la siguiente imagen en aquel grupo de WhatsApp:

image00

“Señores, las proyecciones que ven en el blog en este momento están basadas únicamente en los resultados de los estados que ya tienen un ganador conocido. Las posibilidades de Clinton se derrumbarán si se anuncia que perdió Florida “

¡No vale! Ahora sí. –saltó el primero en entender lo que aquel tweet presagiaba– Que Dios nos agarre confesados –

-Es que ni el loco ese se lo cree. Debe estar pensando cómo va a hacer pa’ construir el muro ahora

Lo que procedió a este tweet fue una seguidilla de cachetadas para los que esperaban ver triunfar la cordura. Carolina del Norte, Florida, Pensilvania; Los estados indecisos iban cayendo todos del lado de Trump. ¡Wisconsin! ahora algunos de los seguros para Hillary también se iban con él.

El final de la película lo conocemos todos. Aquel animador de reality shows que despedía gente en televisión (no el del silbato, ¡el otro!), es ahora presidente electo de los Estados Unidos. Nate Silver fracasó, ¡las encuestas no sirven para nada!.  

¿O sí?

Lo siguiente, es un intento por explicar el difícil oficio de hacer predicciones. Por devolverle al lector su fé en las matemáticas y enseñarle a leer predicciones con cuidado. Pero, sobretodo, es un intento por reivindicar el trabajo de profesionales serios y responsables que, como Nate Silver, reconocen a las encuestas como lo que son: instrumentos naturalmente probabilísticos que, por definición, pueden estar equivocados.


Los tres retos

  1. The Sampling Bias

Dicen los expertos que un Capuccino, para merecer tal título, debe poseer exactamente un tercio de café expresso, un tercio de leche líquida y un tercio de leche al vapor. Cualquier otra combinación de estos tres elementos podrá resultar muy atractiva, pero no será un Capuccino.

Algo muy parecido sucede con las encuestas. Para obtener resultados confiables, la muestra encuestada debe contener a hombres y mujeres, viejos y jóvenes, campesinos y citadinos, etc[1]. en exactamente la misma proporción en la que se encuentran en la población general. Cualquier otra proporción podrá arrojar resultados interesantes, pero no acertados.

Hasta hace algunos años respetar estas proporciones era tan fácil como dejar al azar hacer su trabajo. Los encuestadores sólo debían marcar una cantidad suficientemente grande de números telefónicos aleatorios y, como por arte de magia, el Capuccino estaba listo. El problema en estos tiempos modernos es que la disposición de los electores a contestar encuestas ha caído drástica y desproporcionadamente: ¡¿Quién tiene tiempo para contestar una encuesta?!

La consultora Civis Analytics estima, por ejemplo, que las mujeres de raza blanca y mayores de 65 años, son hasta 30 veces más propensas a contestar una encuesta que los hombres latinos de entre 18 y 35 años. La solución parece obvia: ¡Habrá que llamar a 30 veces más hombres latinos![2] El problema, más allá del evidente aumento en los costos, es que ya no basta con garantizar proporcionalidad en los criterios demográficos tradicionales. Los hombres latinos que están dispuestos a contestar encuestas son sistemáticamente distintos a aquellos que no lo están.

Lo peligroso de este problema es que afecta sistemáticamente a todas las encuestadoras y, por lo tanto, limita las posibilidades de métodos de agregación de encuesta como el utilizado por fivethirtyeight[3]. Dos tuertos de un mismo ojo guiándose mutuamente.

Ahora, no todo está perdido. Las empresas de vanguardia han desarrollado métodos de resampling capaces de identificar y corregir estos sesgos utilizando no 5 ni 10, sino cientos de características de cada elector. Habrá que esperar algún tiempo hasta que las encuestadoras tradicionales logren ponerse al día. Lo de estas elecciones será, sin duda, un gran catalizador para ellas.

  1. The Turnout

En los sistemas democráticos, los gobernantes son elegidos por la mayoría de quienes deciden participar en el proceso de elección, no por la mayoría de la población. Esta sutil y obvia diferencia representa uno de los grandes retos a la hora de predecir el resultado de una elección. El encuestador no sólo debe poder capturar la preferencia política de los encuestados sino, además, su disposición a ir a votar.

El principal desafío es que preguntar al encuestado si planea ir a votar es como preguntarle a un estudiante si estudiará para su examen con tiempo: te dirá que sí sin pensarlo porque cree que es lo correcto, porque le avergüenza decir lo contrario.

Tradicionalmente, las encuestadoras resuelven este inconveniente haciendo a los encuestados varias formas de la misma pregunta –Del 1 al 5, ¿Qué tan seguro estás de ir votar?. Si la elección fuese mañana, ¿Votarías?. ¿Crees que tu voto es importante en esta elección?, etc. Luego combinan estas respuestas con respuestas similares de procesos anteriores y la participación real en esos procesos.

Sin embargo, todos deberíamos estar de acuerdo en que esta no era una elección como cualquier otra. Hillary Clinton y Donald Trump representaban ambos, aunque por razones muy distintas, elementos disruptivos en el escenario electoral y, por lo tanto, las motivaciones para participar o dejar de participar en este proceso eran significativamente distintas a las de elecciones anteriores. Intentar predecir la disposición a votar utilizando como referencia otros procesos electorales, era como intentar entender las reglas del béisbol viendo un partido de kickingball: te dará una idea de algunas reglas, pero no es el mismo juego.

  1. Winner takes all

Por último, la normativa electoral norteamericana tiene ciertas particularidades en su forma de elegir al presidente. Fundamentado en el carácter federativo de la nación, el sistema otorga una cantidad predeterminada de votos electorales a cada estado que luego son reclamados en su totalidad por el candidato ganador. Así, por ejemplo, el candidato que obtenga más votos en California sumará 55 votos electorales a su favor (más del 20% del total necesario para ser electo), independientemente de haber ganado en ese estado por uno o un millón de votos.

Este sistema en el que el ganador se lleva todo afecta significativamente la estabilidad de las predicciones. Intuitivamente, es como adivinar quién anotará más carreras en cada inning de un juego de pelota, en lugar de intentar adivinar el ganador del partido.

Tomemos como ejemplo a los estados de Michigan y Florida, con 16 y 29 votos electorales respectivamente para un total de 45. Ambos estados fueron ganados por Trump por apenas el 1% de los votos. De haber sido contrario el resultado, Hillary Clinton fuese hoy Presidente Electo de los Estados Unidos con un total de 277 votos electorales.

Errar las predicciones en dos de cincuenta estados por menos del uno por ciento no parece ser razón suficiente para enviar a lo hoguera a ningún estadístico. Pero, en este mundo resultadista, lo es.


Cualquier pronóstico responsable debe entender, ponderar y reportar estas y otras incertidumbres asociadas a las encuestas. Si bien es cierto que todos los modelos sostenían a Hillary Clinton como la favorita para hacerse con la presidencia, también es cierto que muchos de ellos otorgaban a Trump una posibilidad real. Las simulaciones de fivethirtyeight, por ejemplo, daban al republicano una probabilidad de hasta el 30% de ganar la elección, tantas como las posibilidades de adivinar un número del uno al tres para ganarte una rifa en la fiesta del vecino.

Lo ocurrido el pasado martes evidencia importantes oportunidades de mejora para quienes se dedican a hacer predicciones, más no representa un fracaso de la estadística como ciencia o de las encuestas como instrumento de predicción. Mucho menos es un fracaso para aquellos que, consistentemente, logran reconocer la magnitud de aquello que no pueden controlar. Esta debe ser la moraleja al lector. Nunca confíen en el encuestador que afirma tener la razón absoluta, confíen en el que es capaz de admitir que puede estar equivocado.

Me despido, como empecé, parafraseando las palabras de algún comentarista de noticias en la noche de la elección:

Nadie es tan inteligente como parece cuando tiene la razón, nadie es tan tonto como parece cuando está equivocado.

Carlos Moya, ex presidente de la FCE USB y actualmente estudiante de análisis de datos en University of Chicago.

Dejar respuesta