Erreur quadratique moyenne

Un article de Wikipédia, l'encyclopédie libre.

Cet article est une ébauche concernant les probabilités et les statistiques.

Vous pouvez partager vos connaissances en l?améliorant (comment ?) selon les recommandations des projets correspondants.

En statistiques, l?'erreur quadratique moyenne (ou plus souvent l?erreur quadratique, moyenne étant sous-entendu) pour un paramètre $?$ de dimension 1, que nous noterons MSE (pour Mean Squared Error), est définie par:

Définition ? $\operatorname(\hat|\theta)\equiv\mathbb\left((\hat-\theta)^2\right).$

avec $\hat$ l?estimateur du paramètre $?$ .

Sommaire

1 Utilité
- 1.1 Comparaison d'estimateurs
- 1.2 Convergence de l'estimateur
2 Généralisation
3 Références
4 Voir aussi

[] Utilité

[] Comparaison d'estimateurs

L'erreur quadratique moyenne est très utile pour comparer plusieurs estimateurs, notamment lorrsque l'un d'eux est biaisé. Si les deux estimateurs à comparer sont sans biais, l'estimateur le plus efficace est simplement celui qui a la variance la plus petite. On peut effectivement exprimer l'erreur quadratique moyenne en fonction du biais de l'estimateur $\mathbb(\hat - \theta)$ ainsi que sa variance:

Théorème ? $\operatorname(\hat|\theta)=\operatorname(\hat)^2 + \operatorname (\hat)$

Démonstration

$\begin\operatorname(\hat)\equiv \mathbb((\hat-\theta)^2)&= \mathbb\left[\left(\hat-\mathbb(\hat\theta)+\mathbb(\hat\theta)-\theta\right)^2\right] \\ & = \mathbb\left[\left(\hat-\mathbb(\hat\theta)\right)^2 +2\left((\hat-\mathbb(\hat\theta))(\mathbb(\hat\theta)-\theta)\right)+\left( \mathbb(\hat\theta)-\theta \right)^2\right] \\ & = \mathbb\left(\hat-\mathbb(\hat\theta)\right)^2+2\mathbb\left((\hat-\mathbb(\hat\theta))(\mathbb(\hat\theta)-\theta)\right)+\left(\mathbb(\hat\theta)-\theta\right)^2 \\ & = \mathbb\left(\hat-\mathbb(\hat\theta)\right)^2+2(\mathbb(\hat\theta)-\theta)\overbrace(\hat-\mathbb(\hat\theta))}^(\hat\theta)-\mathbb(\hat\theta)=0}+\left(\mathbb(\hat\theta)-\theta\right)^2 \\ & = \mathbb\left(\hat-\mathbb(\hat\theta)\right)^2+\left(\mathbb(\hat\theta)-\theta\right)^2 \\ & = \operatorname(\hat\theta)+ \operatorname(\hat\theta)^2 \end$

En faisant intervenir le bias et la variance, l'erreur quadratique moyenne permet donc de trancher dans une situation où il existe un estimateur sans biais et un autre biaisé mais de variance plus petite.

Exemple :

Comparons les deux estimateurs de la variance:

$s_n^2 \equiv \hat\sigma ^2= \frac 1n \sum_^n \left(y_i - \overline \right)^ 2$ et $s^2_ \equiv \hat\sigma ^2= \frac \sum_^n\left(y_i - \overline \right)^ 2$

Des calculs montrent que (voir Greene 2005, p. 861):

$\operatorname[s_^2]=\sigma^2$

$\operatorname[s_^2]=\frac$

$\operatorname[s_n^2]=\frac$

$\operatorname[s_^2]=\left[\frac\right]^2\left[\frac\right]$

L'estimateur $s^2_$ est sans biais mais a une plus forte variance que l'estimateur $s^2_$ .

La comparaison des erreurs quadratiques moyennes (MSE) donne:

$\operatorname(s^2_|\sigma^2)-\operatorname(s^2_|\sigma^2)=\sigma^4\left[\frac-\frac\right]<0$

Et l'estimateur biaisé $s^2_$ est donc plus précis en terme d'erreur quadratique moyenne.

[] Convergence de l'estimateur

Il est possible de déterminer si un estimateur est convergent en probabilité à partir de son erreur quadratique moyenne, on a en effet:

Théorème ? $\left\{\lim_{n \to \infty} \operatorname[\hat\theta] =\theta \quad \mathbf{ et } \quad \lim_{n \to \infty}\operatorname[\hat\theta]= 0 \right\} \Leftrightarrow \lim_{n \to \infty}\operatorname(\hat\theta|\theta) =0 \Rightarrow \hat\theta \xrightarrow \theta$

La démonstration est faite à la page convergence de variables aléatoires.

[] Généralisation

Dans un cadre plus général pour un modèle multiparamétrique où l'on cherche à estimer plusieurs paramètres ou pour estimer une fonction $f (?)$ de un ou plusieurs paramètres, l'erreur quadratique moyenne pour un estimateur $?$ de $f (?)$ est défini par:

Définition ? $\mathbb( ^t(\delta-f(\theta)) A (\delta-f(\theta))$

où A est une matrice symétrique définie positive (qui définit donc un produit scalaire).

[] Références

Greene, William H (2005). Econométrie, 5e éd, Paris: Pearson Education, 2. ISBN 2744070971.

[] Voir aussi

Portail des probabilités et des statistiques

Mirror_ebab
Le Texte ci-dessus est disponible sous GNU Free Documentation License.
La source est wikipedia http://fr.wikipedia.org/wiki/Erreur quadratique moyenne


	Saisir un mot clé:

Erreur_quadratique_moyenne