Consiglio vivamente la visione di questi due brevi interventi di Joshua Angrist:
- What’s the Difference Between Econometrics and Data Science?
- What’s the Difference Between Econometrics and Statistics?
La Scomposizione dell’Errore di Previsione
L’errore quadratico medio atteso di un algoritmo di apprendimento supervisionato si scompone in tre componenti fondamentali:
- Bias (Distorsione): Errore causato da assunzioni strutturali semplificatrici o errate del modello.
- Varianza: Errore dovuto all’eccessiva sensibilità alle fluttuazioni del campione di addestramento (overfitting).
- Rumore (): Errore irriducibile legato alla natura stocastica della variabile target.
Econometria Classica: Priorità alla Non Distorsione
Un problema centrale nella statistica classica e nell’econometria—soprattutto nella stima di effetti causali—è individuare lo stimatore MVUE (Minimum Variance Unbiased Estimator): lo stimatore a varianza minima all’interno della classe ristretta degli stimatori non distorti ().
Sotto le ipotesi del teorema di Gauss–Markov, lo stimatore dei Minimi Quadrati Ordinari (OLS) è BLUE (Best Linear Unbiased Estimator). Tuttavia, essere BLUE non garantisce il minimo errore quadratico medio (MSE) assoluto:
- Stimatori non lineari distorti (come lo stimatore di James–Stein) possono ottenere un rischio complessivo inferiore per dimensione .
- Stimatori lineari penalizzati (Ridge e Lasso) introducono deliberatamente una lieve distorsione in cambio di una drastica riduzione della varianza.
Machine Learning: Minimizzare l’MSE Out-of-Sample
Nel Machine Learning (ML) l’obiettivo primario è la generalizzazione predittiva: minimizzare l’errore complessivo su dati non osservati bilanciando basso bias (catturare le regolarità nei dati) e bassa varianza (generalizzare fuori campione).
- I modelli econometrici sono disposti a sacrificare parte della performance predittiva fuori campione in cambio di zero distorsione e interpretabilità causale dei parametri.
- I modelli di Machine Learning rinunciano alla non distorsione per sfruttare il trade-off bias–varianza e massimizzare l’accuratezza predittiva.
I metodi di ML raggiungono un MSE inferiore attraverso:
- Cross-Validation e ottimizzazione empirica degli iperparametri
- Regolarizzazione e riduzione della complessità (, , early stopping)
- Feature Selection e Riduzione della Dimensionalità
- Metodi Ensemble: Bootstrap Aggregation (Bagging), Boosting e Stacking