Régression linéaire

Un article de Wikipédia, l'encyclopédie libre.

Aller à : Navigation, Rechercher

Pour les articles homonymes, voir Régression.

Un exemple graphique

En statistiques, il arrive que deux grandeurs X et Y apparaissent liées par relation affine :

Y = a·X + b.

La régression linéaire consiste à déterminer une estimation des valeurs a et b et à quantifier la validité de cette relation grâce au coefficient de corrélation linéaire. La généralisation à p variables ...

Y = a₀ + a₁·X₁ + a₂·X₂ + ? + a_p·X_p

... s'appelle la régression linéaire multiple.

Sommaire

1 Situation
2 Formules à connaître
3 Résultat de la régression
4 Erreur commise
5 Coefficient de corrélation linéaire
6 Démonstration des formules par étude d'un minimum
7 Démonstration des formules grâce aux espaces vectoriels de dimension n
8 Voir aussi
9 Liens externes

[] Situation

À partir de mesures de couples de valeurs (x_i?, y_i?), on a représenté dans un graphe, un ensemble de points M_i?(x_i?, y_i?) | i = [1?n] représentant des mesures d'une grandeur $y$ en fonction d'une autre x, par exemple la taille y_i des enfants en fonction de leur âge x_i.

Les points M_i paraissent alignés. On peut alors tenter une régression linéaire, c'est-à-dire chercher la droite D dont l'équation est y = a x + b et qui passe au plus près des points M_i.

Passer au plus près, selon la méthode des moindres carrés, c'est rendre minimale la somme des carrés des écarts des points à la droite :

$\sum_^n (y_i-ax_i-b)^2$

où (y_i - ax_i - b)² représente le carré de la distance verticale du point expérimental M_i à la droite considérée comme la meilleure.

Cela revient donc à déterminer les valeurs des paramètres a et b (respectivement le coefficient directeur de la droite et son ordonnée à l'origine) qui minimisent la somme ci-dessus.

[] Formules à connaître

La moyenne des x_i : $\overline=\frac\sum_^n x_i$
la moyenne des y_i : $\overline=\frac\sum_^n y_i$
le point moyen G a pour coordonnées $(\overline,\overline)$
la variance des x_i : $V(x) =\frac\sum_^n (x_i-\overline)^2 = \overline-}^2$ <mnémonique : la moyenne des carrés moins le carré de la moyenne>
l'écart type des x_i : $\sigma_x= \sqrt$
la variance des y_i : $V(y) =\frac\sum_^n (y_i-\overline)^2 = \overline-}^2$ <mnémonique : la moyenne des carrés moins le carré de la moyenne>
l'écart type des y_i : $\sigma_y= \sqrt$
la covariance des x_i, y_i : $cov(x,y) = \frac\sum_^n (x_i-\overline)(y_i-\overline) = \overline{x \cdot y}-\overline \cdot \overline$ <mnémonique : la moyenne des produits moins le produit des moyennes>

[] Résultat de la régression

La droite rendant minimale la somme précédente passe par le point G et a pour coefficient directeur $\frac$ . Son équation est donc :

$y = \frac(x-\overline)+\overline$

soit

$a = \frac$

$b = \overline - \frac \cdot cov(x,y)} = \overline - a \cdot \overline$

[] Erreur commise

Si l'on appelle ?_i l'écart vertical entre la droite et le point (x_i?, y_i?)

$\varepsilon_i = y_i - a x_i - b$

alors l'estimateur de la variance résiduelle ?²_? est :

$\hat_\varepsilon^2 = \frac \cdot \sum_{i = 1}^n \varepsilon_i^2$

la variance de a, ?²_a?, est estimée par

$\hat_a^2 = \frac_\varepsilon^2}{n \cdot V(x)}$ .

On est dans le cadre d'un test de Student sur l'espérance avec écart type inconnu. Pour un niveau de confiance ? donné, on estime que l'erreur sur a est :

$\Delta a = \hat_a \cdot t^_$

où t^n-2_(1-?)/2 est le quantile d'ordre ?/2 de la loi de Student à n-2 degrés de liberté.

L'erreur commise en remplaçant la valeur mesurée y_i par le point de la droite ax_i + b est :

$\Delta y = \hat_\varepsilon \cdot t^_$

À titre d'illustration, voici quelques valeurs de quantiles.

Exemples de quantiles de la loi de Student
n	niveau de confiance
n	90 %	95 %	99 %	99,9 %
5	2,02	2,57	4,032	6,869
10	1,812	2,228	3,169	4,587
100	1,660	1,984	2,626	3,390

Lorsque le nombre de points est important (plus de 100), on prend souvent une erreur à 3?, qui correspond à un niveau de confiance de 99,7 %.

Voir aussi : Erreur (métrologie).

[] Coefficient de corrélation linéaire

On peut aussi chercher la droite D' : x = a'y + b' qui rende minimale la somme :

$\sum_^n (x_i-a'y_i-b')^2$

On trouve alors une droite qui passe aussi par le point moyen G et telle que

$a' = \frac$ .

On souhaite évidemment tomber sur la même droite. Ce sera le cas si et seulement si

a' = 1/a,

c'est-à-dire si

aa' = 1.

Les droites sont confondues si et seulement si

$\frac=1$

c'est-à-dire si et seulement si

$\frac =\pm 1$

On appelle cette quantité $R=\frac$ le coefficient de corrélation linéaire entre x et y. On peut démontrer que ce nombre est toujours compris entre -1 et 1.

En pratique sa valeur absolue est rarement égale à 1, mais on estime généralement que l'ajustement est valide dès que ce coefficient a une valeur absolue supérieure à $\sqrt/2$

Voir également : Corrélation (mathématiques).

[] Démonstration des formules par étude d'un minimum

Pour tout réel a, on pose $f_a(b) = \sum_^n (y_i-ax_i-b)^2$ . Il suffit de développer et ordonner ce polynôme du second degré en b. On obtient:

$f_a(b) = nb^2-2\left(\sum_^n (y_i-ax_i)\right)b+ \sum_^n (y_i-ax_i)^2$

Ce polynôme atteint son minimum en

$b = \frac\sum_^n (y_i-ax_i) = \overline - a\overline$

Ce qui signifie que la droite passe par le point moyen G

Il reste à remplacer dans la somme de départ, b par cette valeur.

Pour tout réel a, $S(a) = \sum_^n ((y_i-\overline) - a(x_i-\overline))^2$ . Il suffit de développer et ordonner ce polynôme du second degré en a. On obtient

$S(a) = \left(\sum_^n (x_i-\overline)^2\right)a^2 - 2\left(\sum_^n (x_i-\overline)(y_i-\overline)\right)a + \sum_^n (y_i - \overline)^2$

$S(a)= n\times V(x)\times a^2-2\times n\times cov(x,y)\times a + n\times V(y)$ .

Ce polynôme atteint son minimum en

$a=\frac$

La droite de régression est bien la droite passant par G et de coefficient directeur $a=\frac$ .

[] Démonstration des formules grâce aux espaces vectoriels de dimension n

Dans l'espace $\mathbb^n$ , muni du produit scalaire canonique, on considère le vecteur X de coordonnées $(x 1, x 2,..., x n)$ , le vecteur Y de coordonnées $(y 1, y 2,..., y n)$ , le vecteur U de coordonnées (1, 1, ..., 1).

On peut remarquer que :

$X.U = n\overline$
$Y.U = n\overline$
$||X-\overlineU||^2 = n.V(x)$
$||Y-\overlineU||^2 = n.V(y)$
$(Y-\overlineU).(X-\overlineU)=n.cov(x,y)$

On note alors $\overline$ le vecteur $\overlineU$ et $\overline$ le vecteur $\overlineU$

Le vecteur Z de coordonnées $(a x 1 + b, a x 2 + b,..., a x n + b)$ appartient à l'espace vectoriel engendré par X et U.

La somme $\sum_^n (y_i-ax_i-b)^2$ représente le carré de la norme du vecteur $Y ? Z$ .

Cette norme est minimale si et seulement si Z est le projeté orthogonal de Y dans l'espace vectoriel vect(X,U).

Z est le projeté de Y dans l'espace vectoriel vect(X,U) si et seulement si $(Z ? Y). U = 0$ et $(Z-Y).(X - \overline)=0$ .

Or $(Z-Y).U=aX.U+bU^2-Y.U=n(a\overline+b-\overline)$ donc (Z-Y).U=0 signifie que $b= \overline - a\overline$ .

En remplaçant dans $(Z-Y).(X - \overline)$ , on obtient

$(a(X-\overline)-(Y-\overline)).(X - \overline) = naV(x) - ncov(x,y)$ donc $(Z-Y).(X - \overline)=0$ signifie que $a = \frac$

Enfin le coefficient de corrélation linéaire s'écrit alors $\frac).(Y-\overline)}||\times||Y-\overline||}$ . Cette quantité représente le cosinus de l'angle formé par les vecteurs $X-\overline$ et $Y-\overline$ .

On retrouve alors les résultats suivants:

si le coefficient de corrélation linéaire est 1 ou -1, les vecteurs $X-\overline$ et $Y-\overline$ sont colinéaires de coefficient de colinéarité $a$ et $Y = aX + \overline-a\overline$ . L'ajustement linéaire est parfait.
si le coefficient de corrélation linéaire est en valeur absolue supérieur à $\sqrt/2$ alors l'angle formé par les deux vecteurs est compris entre $? ? / 6$ et $? / 6$ ou entre $5? / 6$ et $7? / 6$ .