MSE (Mean Squared Error)

El Error Cuadrático Medio (MSE) es probablemente la métrica más utilizada en machine learning. Su prevalencia se debe a sus convenientes propiedades matemáticas, especialmente en optimización.

Definición

Sea un conjunto de $n$ observaciones con valores reales $y_1, y_2, \ldots, y_n$ y valores predichos $\hat{y}_1, \hat{y}_2, \ldots, \hat{y}_n$.

El MSE se define como:

Desglose de la fórmula

Propiedades matemáticas

Propiedad 1: No negatividad

El MSE siempre es mayor o igual a cero:

Demostración: El cuadrado de cualquier número real es no negativo: $x^2 \geq 0$ para todo $x \in \mathbb{R}$. La suma de cuadrados es no negativa. Dividir por $n > 0$ preserva la no negatividad.

Propiedad 2: Diferenciabilidad

A diferencia del MAE, el MSE es diferenciable en todo su dominio. Esto es crucial para algoritmos de optimización.

El gradiente respecto a las predicciones es:

Esta propiedad hace que el MSE sea la métrica preferida para entrenar modelos con descenso de gradiente.

Propiedad 3: Unidades cuadráticas

El MSE tiene unidades al cuadrado de la variable objetivo:

Si $y$ está en dólares, el MSE está en dólares². Esto dificulta la interpretación directa.

Propiedad 4: Sensibilidad a outliers

El MSE es altamente sensible a valores atípicos debido a la función cuadrática.

Análisis: Si un error se duplica, su contribución al MSE se cuadruplica:

Descomposición sesgo-varianza

Una propiedad fundamental del MSE es su descomposición en tres componentes:

Donde:

• Sesgo: Error sistemático del modelo
• Varianza: Sensibilidad del modelo a fluctuaciones en los datos de entrenamiento
• Ruido irreducible: Variabilidad inherente en los datos

Esta descomposición es fundamental para entender el balance entre underfitting y overfitting.

Relación con la varianza muestral

El MSE tiene una conexión directa con la varianza estadística. Si el modelo predice la media ($\hat{y}_i = \bar{y}$ para todo $i$):

Esta es exactamente la varianza muestral de $y$. Por eso R² se define como $1 - \frac{\text{MSE}}{\text{Var}(y)}$.

Interpretación geométrica

El MSE puede interpretarse como el cuadrado de la distancia euclidiana (o norma $L^2$) promedio.

Si definimos $\vec{y} = (y_1, \ldots, y_n)$ y $\hat{\vec{y}} = (\hat{y}_1, \ldots, \hat{y}_n)$:

donde $\|\cdot\|_2$ es la norma euclidiana.

Relación con la media

Si buscamos un valor constante $c$ que minimice el error cuadrático total:

La solución es $c = \bar{y} = \frac{1}{n}\sum_{i=1}^{n} y_i$ (la media aritmética).

Demostración: Derivando e igualando a cero:

Ejemplo numérico

Usando los mismos datos del ejemplo de MAE:

Cálculo:

Interpretación: El error cuadrático promedio es 137.5 miles de dólares². Nota cómo el outlier (error de 20) domina la métrica.

Implementación

import com.minerva.core.primitives.Vector;
import com.minerva.metrics.RegressionMetrics.RegressionMetrics;
 
public class MSEExample {
    public static void main(String[] args) {
        Vector actual = new Vector(new double[] {250, 300, 180, 420});
        Vector predicted = new Vector(new double[] {245, 310, 175, 400});
        
        RegressionMetrics metrics = new RegressionMetrics();
        double mse = metrics.MSE(actual, predicted);
        
        System.out.println("MSE: " + mse);
    }
}

MSE: 137.5

Ver también

• MAE — Alternativa robusta a outliers
• RMSE — MSE en unidades originales
• R² — Proporción de varianza explicada

Bonus: Fundamentos teóricos del MSE

MSE como estimador de máxima verosimilitud

Bajo el supuesto de errores gaussianos, minimizar el MSE es equivalente a maximizar la verosimilitud.

Modelo: $y_i = f(x_i; \theta) + \epsilon_i$ donde $\epsilon_i \sim \mathcal{N}(0, \sigma^2)$

Función de verosimilitud:

Log-verosimilitud:

Maximizar $\ell(\theta)$ equivale a minimizar $\sum (y_i - f(x_i; \theta))^2$, que es el MSE (sin el factor $1/n$).

Demostración rigurosa de la descomposición sesgo-varianza

Para un estimador $\hat{f}$ del verdadero $f$:

Demostración:

Sea $\hat{y} = \hat{f}(x)$ y $y = f(x) + \epsilon$.

Expandiendo:

Como $\epsilon$ es independiente de $\hat{y}$ y $\mathbb{E}[\epsilon] = 0$:

Ahora descomponemos el primer término. Sea $\mu = \mathbb{E}[\hat{y}]$:

Como $\mathbb{E}[\mu - \hat{y}] = 0$:

Matriz Hessiana del MSE

Para regresión lineal $y = X\beta + \epsilon$, el MSE como función de $\beta$ es:

Gradiente:

Hessiana:

Como $X^TX$ es semidefinida positiva, el MSE es convexo en $\beta$, garantizando un único mínimo global.

Condiciones de optimalidad (ecuaciones normales)

Igualando el gradiente a cero:

Si $X^TX$ es invertible:

Este es el estimador de mínimos cuadrados ordinarios (OLS).

Propiedades del estimador OLS

Bajo el modelo $y = X\beta + \epsilon$ con $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$:

Regularización: Ridge y Lasso

El MSE puede extenderse con términos de penalización:

Ridge (L2):

Solución: $\hat{\beta}_{ridge} = (X^TX + \lambda I)^{-1}X^Ty$

Lasso (L1):

No tiene solución cerrada (requiere optimización iterativa), pero produce coeficientes exactamente cero (selección de variables).