Carl Friedrich Gauss,
Méthode des moindres carrés
“ Il est évident, d’abord, que la perte ne doit pas être regardée comme proportionnelle à l’erreur commise ; car, dans cette hypothèse, une erreur positive représentant une perte, l’erreur négative devrait être regardée comme un gain : la grandeur de la perte doit, au contraire, s’évaluer par une fonction de l’erreur dont la valeur soit toujours positive. Parmi le nombre infini de fonctions qui remplissent cette condition, il semble naturel de choisir la plus simple, qui est, sans contredit, le carré de l’erreur, et, de cette manière, nous sommes conduit au principe proposé plus haut. ”
