R² (Coeficiente de Determinación)

El Coeficiente de Determinación ( $R^2$ ) es una métrica fundamentalmente diferente a MAE, MSE o RMSE. Mientras que esas métricas miden el error absoluto, R² mide la proporción de varianza explicada por el modelo.

Definición

Sea un conjunto de $n$ observaciones con valores reales $y_1, y_2, \ldots, y_n$ y valores predichos $\hat{y}_1, \hat{y}_2, \ldots, \hat{y}_n$ .

El R² se define como:

R^2 = 1 - \frac{SS_{res}}{SS_{tot}}

Donde:

SS_{res} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \quad \text{(Suma de cuadrados residuales)}

SS_{tot} = \sum_{i=1}^{n} (y_i - \bar{y})^2 \quad \text{(Suma de cuadrados totales)}

Desglose de la fórmula

Símbolo	Nombre	Significado
$SS_{res}$	Residual Sum of Squares	Variación no explicada por el modelo
$SS_{tot}$	Total Sum of Squares	Variación total en los datos
$\bar{y}$	Media muestral	$\frac{1}{n}\sum y_i$
$\frac{SS_{res}}{SS_{tot}}$	Fracción residual	Proporción de varianza no explicada

Interpretación

El R² responde a la pregunta: ¿Qué proporción de la variabilidad en $y$ explica mi modelo?

$R^2 = 1$ : El modelo explica toda la variabilidad (predicción perfecta)
$R^2 = 0$ : El modelo no explica nada (equivalente a predecir la media)
$R^2 < 0$ : El modelo es peor que predecir la media

Relación con el modelo "baseline"

El denominador $SS_{tot}$ representa el error de un modelo trivial que siempre predice la media:

\hat{y}_i = \bar{y} \quad \forall i

Por lo tanto:

R^2 = 1 - \frac{\text{Error del modelo}}{\text{Error del baseline}}

Propiedades matemáticas

Propiedad 1: Rango

Para regresión lineal con intercepto:

0 \leq R^2 \leq 1

Para modelos generales (no lineales o sin intercepto):

-\infty < R^2 \leq 1

Propiedad 2: Relación con correlación

En regresión lineal simple ( $y = \beta_0 + \beta_1 x$ ), el R² es exactamente el cuadrado del coeficiente de correlación de Pearson:

R^2 = r_{xy}^2

donde:

r_{xy} = \frac{\sum(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum(x_i - \bar{x})^2 \sum(y_i - \bar{y})^2}}

Propiedad 3: Invarianza ante escalado

El R² es invariante ante transformaciones lineales de $y$ :

R^2(ay + b, a\hat{y} + b) = R^2(y, \hat{y}) \quad \text{para } a \neq 0

Esto significa que cambiar las unidades (por ejemplo, de metros a centímetros) no afecta el R².

Propiedad 4: Relación con MSE

R^2 = 1 - \frac{n \cdot \text{MSE}}{SS_{tot}} = 1 - \frac{\text{MSE}}{\text{Var}(y)}

Descomposición de varianza

La suma de cuadrados totales se puede descomponer en dos partes:

SS_{tot} = SS_{reg} + SS_{res}

Donde $SS_{reg} = \sum(\hat{y}_i - \bar{y})^2$ es la suma de cuadrados explicada (o de regresión).

Por lo tanto:

R^2 = \frac{SS_{reg}}{SS_{tot}} = \frac{\text{Varianza explicada}}{\text{Varianza total}}

El problema del R² inflado

Un problema conocido del R² es que siempre aumenta (o se mantiene igual) al agregar más variables al modelo, incluso si son irrelevantes:

R^2_{p+1} \geq R^2_p

Donde $p$ es el número de predictores.

Demostración intuitiva: Agregar una variable nunca puede empeorar el ajuste porque, en el peor caso, su coeficiente óptimo es cero.

Este problema motiva el uso del R² Ajustado.

Ejemplo numérico

Datos:

$i$	$y_i$	$\hat{y}_i$
1	250	245
2	300	310
3	180	175
4	420	400

Paso 1: Calcular la media

\bar{y} = \frac{250 + 300 + 180 + 420}{4} = \frac{1150}{4} = 287.5

Paso 2: Calcular $SS_{tot}$

$y_i$	$y_i - \bar{y}$	$(y_i - \bar{y})^2$
250	-37.5	1406.25
300	12.5	156.25
180	-107.5	11556.25
420	132.5	17556.25

SS_{tot} = 1406.25 + 156.25 + 11556.25 + 17556.25 = 30675

Paso 3: Calcular $SS_{res}$

SS_{res} = 25 + 100 + 25 + 400 = 550

Paso 4: Calcular R²

R^2 = 1 - \frac{550}{30675} = 1 - 0.0179 = 0.9821

Interpretación: El modelo explica el 98.21% de la variabilidad en los precios de las casas.

Implementación

Example.java

import com.minerva.core.primitives.Vector;
import com.minerva.metrics.RegressionMetrics.RegressionMetrics;
 
public class R2Example {
    public static void main(String[] args) {
        Vector actual = new Vector(new double[] {250, 300, 180, 420});
        Vector predicted = new Vector(new double[] {245, 310, 175, 400});
        
        RegressionMetrics metrics = new RegressionMetrics();
        double r2 = metrics.R2(actual, predicted);
        
        System.out.printf("R²: %.4f%n", r2);
    }
}

java R2Example

R²: 0.9821

Ver también

R² Ajustado — Versión penalizada por número de variables
MSE — Base del cálculo de R²

Bonus: Teoría avanzada del R²

Advertencia

Esta sección requiere conocimientos de inferencia estadística y teoría de la información. Puedes saltarla sin perder continuidad.

R² poblacional vs muestral

El R² que calculamos es una estimación muestral. El R² poblacional se define como:

\rho^2 = 1 - \frac{\text{Var}(\epsilon)}{\text{Var}(y)} = \frac{\text{Var}(\mathbb{E}[y|x])}{\text{Var}(y)}

donde $\epsilon = y - \mathbb{E}[y|x]$ es el error irreducible.

Problema: El R² muestral es un estimador sesgado del R² poblacional:

\mathbb{E}[\hat{R}^2] > \rho^2

El sesgo es aproximadamente $\frac{p(1-\rho^2)}{n}$ .

Distribución del R² bajo la hipótesis nula

Bajo $H_0: \rho^2 = 0$ (ningún predictor tiene relación con $y$ ):

\frac{R^2 / p}{(1 - R^2)/(n - p - 1)} \sim F_{p, n-p-1}

Esta es la base de la prueba F global en regresión.

R² y el estadístico F

La relación entre R² y F es:

F = \frac{n - p - 1}{p} \cdot \frac{R^2}{1 - R^2}

Equivalentemente:

R^2 = \frac{pF}{pF + (n - p - 1)}

Criterios de información y R²

Mientras que R² y R² ajustado se usan para comparar modelos, los criterios de información ofrecen alternativas basadas en teoría de la información.

AIC (Akaike Information Criterion):

\text{AIC} = n \ln(\text{MSE}) + 2p

BIC (Bayesian Information Criterion):

\text{BIC} = n \ln(\text{MSE}) + p \ln(n)

Criterio	Penalización	Uso
R²	Ninguna	Descriptivo
R² adj	Lineal en $p$	Comparación simple
AIC	$2p/n$	Predicción
BIC	$p \ln(n)/n$	Selección de modelo verdadero

BIC penaliza más que AIC para $n \geq 8$ , favoreciendo modelos más parsimoniosos.

Limitaciones teóricas del R²

1. No indica causalidad: Un R² alto no implica que $x$ cause $y$ .

2. Sensible a la varianza de $x$ : Para el mismo modelo verdadero, más variabilidad en $x$ produce mayor R².

3. No comparable entre muestras diferentes: El R² depende de la distribución de $x$ en la muestra.

4. No monótono en la complejidad del modelo verdadero: Un modelo más complejo puede tener menor R² si agrega ruido.

Coeficiente de determinación parcial

Para medir la contribución de una variable $x_j$ dado que ya tenemos otras variables en el modelo:

R^2_{j|resto} = \frac{SS_{res,sin\,j} - SS_{res,con\,j}}{SS_{res,sin\,j}}

Este mide cuánta variación residual explica $x_j$ que no explicaban las demás variables.

Conexión con la correlación múltiple

El R² es el cuadrado del coeficiente de correlación múltiple $R$ :

R = \text{Corr}(y, \hat{y})

Este $R$ siempre está entre 0 y 1 para regresión lineal con intercepto.