Acertar el ganador no basta para evaluar un pronóstico probabilístico. Dar un 51 % y un 99 % a un resultado expresa grados de confianza muy distintos. El Brier score mide el error cuadrático entre la probabilidad anunciada y lo que ocurrió; cuanto menor, mejor en la muestra comparada.
Cálculo para una pregunta de sí o no
Para «¿gana el local?», usamos p como probabilidad, y = 1 si gana e y = 0 si no. Calculamos (p − y)² en cada partido y hacemos la media. Este ejemplo es ficticio:
| Partido | p | y | Error cuadrático |
|---|---|---|---|
| A | 0,70 | 1 | 0,09 |
| B | 0,60 | 0 | 0,36 |
| C | 0,20 | 0 | 0,04 |
| D | 0,40 | 1 | 0,36 |
El resultado es (0,09 + 0,36 + 0,04 + 0,36) ÷ 4 = 0,2125. Una referencia que asignara 0,50 a esos cuatro casos obtendría 0,25. El primer modelo sale mejor en este ejercicio; cuatro partidos no prueban que sea mejor en general.
La versión 1X2 necesita una convención
Con tres resultados se suman los errores de las tres clases y después se promedian los partidos. Si p = (0,50; 0,30; 0,20) y gana el local, el error es (0,50 − 1)² + 0,30² + 0,20² = 0,38.
Esta versión sin normalizar va de 0 a 2. Algunas implementaciones reescalan el resultado. La versión binaria anterior va de 0 a 1: no compares cifras calculadas con convenciones diferentes.
Qué significa estar bien calibrado
Si un modelo asigna probabilidades próximas al 70 % a muchos casos comparables, una calibración adecuada supone que el suceso ocurra aproximadamente en el 70 % de ellos. Se comprueba agrupando pronósticos y comparando probabilidad media con frecuencia observada.
Un Brier menor no demuestra por sí solo mejor calibración: también refleja capacidad para discriminar casos y características de la muestra. Acompaña el valor con una tabla por intervalos y el número de observaciones de cada grupo.
Cómo evitar una evaluación engañosa
Guarda el pronóstico antes del partido, fija el resultado que estás evaluando y separa entrenamiento y evaluación por fechas. Compara modelos sobre los mismos encuentros; no descartes retrospectivamente los que salieron mal.
Por último, mide la calidad probabilística aparte de la rentabilidad. El Brier no incluye cuotas, comisiones ni importes. Un buen resultado estadístico no demuestra que exista una oportunidad rentable de apostar.
Para seguir leyendo
Fuentes y método
Fórmulas y criterios: documentación de scikit-learn, Brier score loss y Probability calibration. Todos los datos y cálculos del ejemplo son propios.