VALIDACIÓN DEL MODELO · 2018 Y 2022

¿Habría acertado el MP-26?

Hemos reproducido el motor de probabilidades del MP-26 sobre las dos últimas midterms: el mismo error por carrera, el mismo error nacional compartido y las mismas 50.000 simulaciones que usa el pronóstico en directo, alimentados con el margen esperado final de cada carrera según los pronósticos publicados por FiveThirtyEight. Después lo hemos comparado con lo que pasó de verdad.

4/4resultados por cámara dentro del intervalo del 80 %940 carreras puntuadas

Carreras acertadas96%85% en las carreras más reñidas

Puntuación de Brier (cuanto más baja, mejor)0,032Con las probabilidades de FiveThirtyEight: 0,030

Error típico por carrera±6,2puntos de margen (raíz del error cuadrático medio)

Error nacionalR+1.91 / D+1.28error medio en 2018 / 2022: el que comparten todas las carreras

CÁMARAS

Intervalos de escaños frente al resultado

Intervalo del 80 % del MP-26 80 % de FiveThirtyEight mediana real

2018

CámaraMayoría D: 90% · resultado: 235 escaños D

218235

Dentro del intervalo del 80 %Ganó el favorito

SenadoMayoría D: 14% · resultado: 47 escaños D

5147

Dentro del intervalo del 80 %Ganó el favorito

2022

CámaraMayoría D: 13% · resultado: 213 escaños D

218213

Dentro del intervalo del 80 %Ganó el favorito

SenadoMayoría D: 51% · resultado: 51 escaños D

5051

Dentro del intervalo del 80 %Ganó el favorito

CALIBRACIÓN

¿Las carreras al 30 % ocurren el 30 % de las veces?

Cada punto agrupa las carreras competidas (5–95 %) según su pronóstico. Si los puntos quedan por debajo de la diagonal a la izquierda y por encima a la derecha, el motor fue demasiado prudente: los favoritos ganaron más a menudo de lo que decía.

CARRERA A CARRERA

Margen esperado frente al resultado

Cada punto es una carrera disputada: el margen esperado final (en horizontal) frente al real (en vertical). Los anillos dorados marcan las carreras que perdió el favorito. 2018 2022

QUÉ HEMOS APRENDIDO

Conclusiones y límites

Cámaras: bien calibradas. Los cuatro resultados cayeron dentro del intervalo del 80 % del MP-26, y el favorito ganó en las cuatro cámaras; en el Senado de 2022, por un pelo: los demócratas estaban al 51 %.
Carreras: a la par, algo prudentes. Por carrera, la puntuación queda a un pelo de las propias probabilidades de FiveThirtyEight con los mismos datos. Los ±7.5 puntos de error del motor son más de lo que necesitaban los pronósticos del día anterior: el error que mejor puntuó fue ±4. Mantenemos ±7.5 porque el pronóstico en directo se publica semanas antes de votar, cuando la incertidumbre es mayor.
Lo que esto no prueba. Vote-Scope, la referencia del MP-26, no publicó pronósticos en 2018 ni en 2022, así que aquí los datos de entrada son los de FiveThirtyEight. Esto valida el motor de probabilidades, no la referencia de la que parte el modelo en directo. El modelo sigue marcado como experimental.

Log loss con ±7.5: 0,113; con ±4: 0,101. Datos de entrada: pronósticos finales de FiveThirtyEight de 2018 y 2022 (modelo classic), CC BY 4.0, recuperados del Internet Archive. Resultados: FiveThirtyEight election-results (CC BY 4.0).

Cómo funciona el modelo →Fuentes y metodología →