méthode_des_moindres_carrés

La méthode des moindres carrés, indépendamment élaborée par Legendre en 1805 et Gauss en 1809, permet de comparer des données expérimentales, généralement entachées d?erreurs de mesure à un modèle mathématique censé décrire ces données. Ce modèle peut prendre diverses formes. Il peut s?agir de lois de conservation que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l?impact des erreurs expérimentales en « ajoutant de l?information » dans le processus de mesure. Dans le cas le plus courant, le modèle théorique est une famille de fonctions ?(x'';$\backslash theta$) d?une ou plusieurs variables muettes ''x, indexées par un ou plusieurs paramètres $\backslash theta$ inconnus. La méthode des moindres carrés permet de sélectionner parmi ces fonctions, celle qui reproduit le mieux les données expérimentales. On parle dans ce cas d?ajustement par la méthode des moindres carrés. Si les paramètres $\backslash theta$ ont un sens physique la procédure d?ajustement donne également une estimation indirecte de la valeur de ces paramètres. La méthode consiste en une prescription (initialement empirique) qui est que la fonction ?(x;$\backslash theta$) qui décrit « le mieux » les données est celle qui minimise la somme quadratique des déviations des mesures aux prédictions de ?(x''; $\backslash theta$). Si par exemple, nous disposons de ''N'' mesures, (''y_i '') _{''i'' = 1, ''N} les paramètres $\backslash theta$ « optimaux » au sens de la méthode des moindres carrés sont ceux qui minimisent la quantité : :$S(\backslash theta)\; =\; \backslash sum\_^N\; \backslash left(y\_i\; -\; f(x\_i;\backslash theta)\backslash right)^2\; =\; \backslash sum\_^N\; r^2\_i(\backslash theta)$ où les $r\_i(\backslash theta)$ sont les résidus'' au modèle, i.e. les écarts entre les points de mesure $y\_i$ et le modèle $f(x;\backslash theta)$. $S(\backslash theta)$ peut être considéré comme une mesure de la ''distance entre les données expérimentales et le modèle théorique qui prédit ces données. La prescription des moindres carrés commande que cette distance soit minimale. Si, comme c'est généralement le cas, on dispose d'une estimation de l'écart-type ?_i'' du bruit qui affecte chaque mesure ''y_i, on l'utilise pour « peser » la contribution de la mesure au ?². Une mesure aura d'autant plus de poids que son incertitude sera faible: :$\backslash chi^2(\backslash theta)\; =\; \backslash sum\_^N\; \backslash left(\backslash frac\{y\_i\; -\; f(x\_i;\backslash theta)\}\backslash right)^2\; =\; \backslash sum\_^N\; w\_i\; \backslash left(y\_i\; -\; f(x\_i;\backslash theta)\backslash right)^2$ Les quantités $w\_i$, inverses des variances des mesures sont appelés poids des mesures. La quantité ci-dessus est appelée khi carré' ou '''khi-deux. Son nom vient de la loi statistique qu'elle décrit, si les erreurs de mesure qui entachent les ''y_i'' sont distribuées suivant une Loi normale (ce qui est très courant). Dans ce dernier cas, la méthode des moindres carrés permet de plus d?estimer quantitativement l?adéquation du modèle aux mesures, pour peu que l'on dispose d'une estimation fiable des erreurs ?_''i. Si le modèle d?erreur est non gaussien, il faut généralement recourir à la méthode du maximum de vraisemblance, dont la méthode des moindres carrés est un cas particulier. Son extrême simplicité fait que cette méthode est très couramment utilisée de nos jours en sciences expérimentales. Une application courante est le lissage'' des données expérimentales par une fonction empirique (fonction linéaire, polynomes ou splines). Cependant son usage le plus important est probablement la mesure de quantités physiques à partir de données expérimentales. Dans de nombreux cas, la quantité que l?on cherche à mesurer n?est pas observable et n?apparaît qu?indirectement comme paramètre $\backslash theta$ d?un modèle théorique f(''x'', $\backslash theta$). Dans ce dernier cas de figure, il est possible de montrer que la méthode des moindres carrés permet de construire un estimateur de $\backslash theta$, qui vérifie certaines conditions d?optimalité. En particulier, lorsque le modèle f(''x, $\backslash theta$) est linéaire en fonction de $\backslash theta$, le Théorème de Gauss-Markov garantit que la méthode des moindres carrés permet d'obtenir l'estimateur non-biaisé le moins dispersé. Lorsque le modèle est une fonction non-linéaire des paramètres $\backslash theta$ l'estimateur est généralement biaisé. Par ailleurs, dans tous les cas, les estimateurs obtenus sont extrêmement sensibles aux points aberrants : on traduit ce fait en disant qu?ils sont non robustes. Plusieurs techniques permettent cependant de « robustifier » la méthode.

Histoire

. Le jour du Nouvel An de 1801, l'astronome italien Giuseppe Piazzi a découvert l'astéroïde Cérès. Il a alors pu suivre sa trajectoire durant 40 jours. Durant cette année, plusieurs scientifiques ont tenté de prédire sa trajectoire sur la base des observations de Piazzi (à cette époque, la résolution des équations non linéaires de Kepler de la cinématique est un problème très difficile). La plupart des prédictions furent erronées; et le seul calcul suffisamment précis pour permettre à Zach, un astronome allemand, de localiser à nouveau Cérès à la fin de l'année, fut celui de Carl Friedrich Gauss, alors âgé de 24 ans (il avait déjà réalisé l'élaboration des concepts fondamentaux en 1795, lorsqu'il était alors âgé de 18 ans). Mais sa méthode des moindres carrés ne fut publiée qu'en 1809, lorsqu'elle parut dans le tome 2 de ses travaux sur la Mécanique céleste , Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium. Le mathématicien français Adrien-Marie Legendre a développé indépendamment la même méthode en 1805. En 1829, Gauss a pu donner les raisons de l'efficacité de cette méthode ; en effet, la méthode des moindres carrés est justement optimale à l'égard de bien des critères. Cet argument est maintenant connu sous le nom du théorème de Gauss-Markov.

Formalisme

Deux exemples simples

Moyenne d'une série de mesures indépendantes

L'exemple le plus simple d'ajustement par la méthode des moindres carrés est probablement le calcul de la moyenne $m$ d'un ensemble de mesures indépendantes $(y\_i)\_$ entachées d'erreurs gaussiennes. La prescription des moindres carrés revient à minimiser la quantité : :::$\backslash chi^2(m)\; =\; \backslash sum\_^N\; \backslash left(\backslash frac\{y\_i\; -m\}\backslash right)^2\; =\; \backslash sum\_^N\; w\_i\; \backslash left(y\_i\; -\; m\backslash right)^2$ où les $w\_i\; =\; 1\; /\; \backslash sigma\_i^2$ sont les poids des mesures $y\_i$. Cette quantité est une forme quadratique définie positive. Son minimum se calcule par différenciation : $\{\backslash rm\; grad\}\; \backslash chi^2(m)\; =\; 0$. Cela donne la formule classique : :::$m\; =\; \backslash frac^N\; w\_i\; y\_i\}^N\; w\_i\}$ Autrement dit, l'estimateur par moindres carrés de la moyenne $m$ d'une série de mesures entachées d'erreurs gaussiennes (connues) est leur moyenne pesée, i.e. leur moyenne empirique dans laquelle chaque mesure est pondérée par l'inverse du carré de son incertitude. Le théorème de Gauss-Markov garantit qu'il s'agit du meilleur estimateur non-biaisé de $m$. La moyenne estimée $m$ fluctue en fonction des séries de mesures $y\_i$ effectuées. Comme chaque mesure est affectée d'une erreur aléatoire, on concoit que la moyenne d'une première série de N mesures diffèrera de la moyenne d'une seconde série de N mesures, même si celles-ci sont réalisées dans des conditions identiques. Il importe de pouvoir quantifier l'amplitude de telles fluctuations, car cela détermine la precision de la détermination de la moyenne m. Chaque mesure $y\_i$ peut être considérée comme une réalisation d'une variable aléatoire $Y\_i$, de moyenne $\backslash overline$ et de d'écart-type $\backslash sigma\_i$. L'estimateur de la moyenne obtenu par la méthode des moindres carrés, combinaison linéaire de variables aléatoires, est lui-même une variable aléatoire : ::: $M\; =\; \backslash frac^N\; w\_i\; Y\_i\}^N\; w\_i\}$. L'écart-type des fluctuations de $M$ est donné par (combinaison linéaire de variables aléatoires indépendantes): ::: $\backslash sigma(M)\; =\; \backslash left(\backslash sum\_^N\; \backslash frac\backslash right)^\; =\; \backslash left(\backslash sum\_^N\; w\_i\backslash right)^$ Sans grande surprise, la précision de la moyenne d'une série de $N$ mesures est donc déterminée par le nombre de mesures, et la précision de chacune de ces mesures. Dans le cas où chaque mesure est affectée de la même incertitude $\backslash sigma\_i\; =\; \backslash sigma$ la formule précédente se simplifie en : ::: $\backslash sigma(M)\; =\; \backslash frac\}$ La précision de la moyenne s'accroit donc comme la racine carrée du nombre de mesures. Par exemple, pour doubler la précision, il faut quatre fois plus de données ; pour la multiplier par 10, il faut 100 fois plus de données.

Régression linéaire

Un autre exemple est l'ajustement d'une loi linéaire du type $y=\backslash alpha\; x\; +\; \backslash beta$ sur des mesures indépendantes, fonction d'un paramètre connu $x$. Ce type de situation se rencontre par exemple lorsque l'on veut calibrer un appareil de mesure simple (ampèremètre, thermomètre) dont le fonctionnement est linéaire. $y$ est alors la mesure instrumentale (déviation d'une aiguille, nombre de pas d'un ADC, ...) et $x$ la grandeur physique qu'est censé mesurer l'appareil, généralement mieux connue, si l'on utilise une source de calibration fiable. La méthode des moindres carrés permet alors de mesurer la loi de calibration de l'appareil, d'estimer l'adéquation de cette loi aux mesures de calibration (i.e.'' dans le cas présent, la linéarité de l'appareil) et de propager les erreurs de calibration aux futures mesures effectuées avec l'appareil calibré. À noter qu'en général, les erreurs (et corrélations) portant sur les mesures $y\_i$ ''et les mesures $x\_i$ doivent être prises en compte. Nous traiterons ce cas dans la section suivante. La prescription des moindres carrés s'écrit pour ce type de modèle: :::$\backslash chi^2(\backslash alpha,\; \backslash beta)\; =\; \backslash sum\_^N\; \backslash left(\; \backslash frac\{y\_i\; -\; \backslash alpha\; x\_i\; -\; \backslash beta\}\; \backslash right)^2\; =\; \backslash sum\_^N\; w\_i\; \backslash left(y\_i\; -\; \backslash alpha\; x\_i\; -\; \backslash beta\; \backslash right)^2$ Le minimum de cette expression est atteint pour $\{\backslash rm\; grad\}\; \backslash chi^2\; =\; 0$, ce qui donne: ::: La détermination des paramètres "optimaux" (au sens des moindres carrés) $\backslash alpha$ et $\backslash beta$ se ramène donc à la résolution d'un système d'équations linéaires. Il s'agit là d'une propriété très intéressante, liée au fait que le modèle lui-même est linéaire. On parle d'ajustement ou de régression linéaire. Dans le cas général, la détermination du minimum du $\backslash chi^2$ est un problème plus compliqué, et généralement coûteux en temps de calcul (cf. sections suivantes). La valeur des paramètres $\backslash alpha\_$ et $\backslash beta\_$ dépend des mesures $y\_i$ réalisées. Comme ces mesures sont entachées d'erreur, on conçoit bien que si l'on répète $M$ fois les $N$ mesures de calibration, et que l'on réalise à l'issue de chaque série l'ajustement décrit plus haut, on obtiendra $M$ valeurs numériquement différentes de $\backslash alpha\_$ et $\backslash beta\_$. Les paramètres de l'ajustement peuvent donc être considérés comme des variables aléatoires, dont la loi est fonction du modèle ajusté et de la loi des $y\_i$. On montre que la dispersion qui affecte les valeurs de $\backslash alpha\_$ et $\backslash beta\_$ dépend du nombre de points de mesure, $N$, et de la dispersion qui affecte les mesures (moins les mesures sont précises, plus $\backslash alpha\_$ et $\backslash beta\_$ fluctueront). Par ailleurs, $\backslash alpha\_$ et $\backslash beta\_$ ne sont généralement pas des variables indépendantes. Elles sont généralement corrélées, et leur corrélation dépend du modèle ajusté (nous avons supposé les $y\_i$ indépendants).

Ajustement d'un modèle linéaire quelconque

Un modèle $f(x;\backslash theta)$ est linéaire, si sa dépendance en $\backslash theta$ est linéaire. Un tel modèle s'écrit : : $f(x;\backslash theta)\; =\; \backslash sum\_^n\; \backslash theta\_k\; \backslash phi\_k(x)$ où les $\backslash phi\_k$ sont n'' fonctions quelconques de la variable ''x. Un tel cas est très courant en pratique: les deux modèles étudiés plus haut sont linéaires. Plus généralement tout modèle polynomial est linèaire, avec $\backslash phi\_k(x)\; =\; x^k$. Enfin, de très nombreux modèles utilisés en sciences expérimentales sont des développement sur des bases fonctionnelles classiques (splines, base de Fourier, bases d'ondelettes etc.) Si nous disposons de N mesures, $(x\_i,\; y\_i,\; \backslash sigma\_i)$, le $\backslash chi^2$ peut être écrit sous la forme : : $\backslash chi^2(\backslash mathbf)\; =\; \backslash sum\_^N\; \backslash frac\; \backslash left(\backslash sum\_^n\; \backslash theta\_k\; \backslash phi\_k(x\_i)\; -y\_i\; \backslash right)^2$ Nous pouvons exploiter la linéarité du modèle pour exprimer le $\backslash chi^2$ sous une forme matricielle plus simple. En effet, en définissant : : on montre facilement que le $\backslash chi^2$ s'écrit sous la forme: ::: $\backslash chi^2(\backslash mathbf)\; =\; (\backslash mathbf\; -\; \backslash mathbf)^T\; \backslash mathbf\; (\backslash mathbf\; -\; \backslash mathbf)$ La matrice $J$ est appelée matrice jacobienne'' du problème. C'est une matrice rectangulaire, de dimension ''N'' x ''n'', avec généralement N >> n. Elle contient les valeurs des fonctions de base $\backslash phi\_k$ pour chaque point de mesure. La matrice diagonale $W$ est appelée ''matrice des poids. C'est l'inverse de la matrice de covariance des $y\_i$. On montre que si les $y\_i$ sont corrélés, la relation ci-dessus est toujours valable. $W$ n'est simplement plus diagonale, car les covariances entre les $y\_i$ ne sont plus nulles. En différentiant la relation ci-dessus par rapport à chaque $\backslash theta\_k$, on obtient : ::: $\{\backslash rm\; grad\}\backslash \; \backslash chi^2(\backslash mathbf)\; =\; 2\backslash \; \backslash mathbf^T\; \backslash mathbf\{W\; J\; \backslash theta\}\; -\; 2\backslash \; \backslash mathbf^T\; \backslash mathbf$ et le minimum du $\backslash chi^2$ est dont atteint pour $\backslash theta\_$ égal à : ::: $\backslash theta\_\; =\; \backslash left(\backslash mathbf^T\; \backslash mathbf\backslash right)^\backslash \; \backslash mathbf^T\; \backslash mathbf$ On retrouve la propriété remarquable des problèmes linéaires, qui est que le modèle optimal peut-être obtenu en une seule operation, à savoir la résolution d'un système $n\; \backslash times\; n$.

Ajustement de modèles non-linéaires

Dans de nombreux cas, la dépendance du modèle en $\backslash theta$ est non-linéaire. Par exemple, si $f(x;\backslash theta)\; =\; f(x;(A,\backslash omega,\backslash phi))\; =\; A\backslash cos(\backslash omega\; x\; +\; \backslash phi)$, ou $f(x;\backslash theta)\; =\; f(x;\backslash tau)\; =\; \backslash exp(-x/\backslash tau)$. Dans ce cas, le formalisme décrit à la section précédente ne peut pas être appliqué directement. L'approche généralement employée consiste alors à partir d'une estimation de la solution, à linéariser le $\backslash chi^2$ en ce point, résoudre le problème linéarisé, puis itérer. Cette approche est équivalente à l'algorithme de minimisation de Gauss-Newton. D'autres techniques de minimisation existent. Certaines comme l'Algorithme de Levenberg-Marquardt, sont des raffinements de l'algorithme de Gauss-Newton. D'autres sont appliquables lorsque les dérivées du $\backslash chi^2$ sont difficiles ou coûteuses à calculer. Une des difficultés des problèmes de moindres carrés non-linéaires est l'existence fréquente de plusieurs minimas locaux. Une exploration systématique de l'espace des paramètres peut alors se révéler nécessaire.

Ajustement sous contraintes

Ajustement de modèles implicites

Interprétation statistique

Le critère du ?²

Optimalité de la méthode des moindres carrés

Robustesse

Sensibilité aux points aberrants

Techniques de robustification

Articles connexes

Test du ?²
Loi du ?²
Apprentissage supervisé
Simulation de profil Portail mathématiques Catégorie:Estimation (statistique) Methode des moindres carres Lien AdQ|de cs:Metoda nejmen?ích ?tverc? de:Methode der kleinsten Quadrate en:Least squares es:Mínimos cuadrados fi:Pienimmän neliösumman menetelmä gl:Mínimos cadrados he:???? ???????? ??????? hu:Legkisebb négyzetek módszere it:Metodo dei minimi quadrati ja:????? nl:Kleinste-kwadratenmethode pl:Metoda najmniejszych kwadratów pt:Método dos mínimos quadrados ru:????? ?????????? ????????? su:Kuadrat leutik sv:Minstakvadratmetoden tr:En küçük kareler yöntemi vi:Bình ph??ng t?i thi?u zh:?????Méthode des moindres carrés32470