最小平方原理是一个探求最佳近似函数的原则，例如有一线性方程式Ac＝b（A为一m × n矩阵，c, b分别为n × 1与m × 1行阵）。一般而言c 不一定有解，但我们可以决定一个（最好的）近似解。使残差(rasidual) 形成最小值，亦即r21＋r22＋r22＋…r2m为值最小，因此c 称为最小平方解。c 为最小平方解的充份必要条件可以证明为：ATr＝0，亦即r 为一垂直A 中各行的行阵，于是最小平方解c 可以迳由下列方程式求得： 对于一个函数f(ζ)的近似函数，我们可以取一组独立的基函数ф i(ζ), (i＝1, 2,...n)，的线性组合来近似。 其中各项系数ci也可以依据最小平方原理来决定，其正规方程式可写为： 式中，n 阶方阵ф 与n 阶行阵f 分列为：