最小二乘法

發(fā)布時間：2025-10-30 | 來源：互聯(lián)網(wǎng)轉載和整理

一、最小二乘法簡介

最小二乘法是一種用于尋找數(shù)據(jù)最佳擬合線或曲線的方法。它的核心思想是，通過最小化觀測數(shù)據(jù)點與擬合線（或曲線）之間的垂直距離的平方和，來確定最佳擬合的參數(shù)。

想象一組散點數(shù)據(jù)，你想要找到一條直線或曲線，使得所有這些點到這條線（或曲線）的距離之和的平方盡可能小。最小二乘法就是為了找到這條線（或曲線），使得這個距離之和的平方最小。

這個方法在很多領域都有應用，比如統(tǒng)計學、機器學習和工程。通過數(shù)學計算，你可以找到最小二乘法的解析解，確定最佳擬合線的斜率和截距（如果是線性擬合的話），或者更復雜的參數(shù)（如果是多項式或非線性擬合）。

總體而言最小二乘法是一種尋找最佳擬合模型的數(shù)學方法，通過最小化數(shù)據(jù)點與擬合模型之間的誤差來找到最優(yōu)解。

二、公式及分析

最小二乘法的基本公式是用于線性回歸的。在簡單線性回歸中，我們試圖擬合一個線性模型y=mx+b來最好地描述數(shù)據(jù)。

假設我們有n個數(shù)據(jù)點，表示為(x_i,y_i)，其中i是數(shù)據(jù)點的索引。我們的目標是找到最佳的斜率m和截距b，使得擬合線與數(shù)據(jù)點的誤差平方和最小。

擬合的線性模型的預測值為{y}_i=mx_i+b。數(shù)據(jù)點y_i和預測值{y}_i之間的誤差是e_i=y_i-{y}_i。

最小二乘法的目標是最小化所有數(shù)據(jù)點的誤差平方和：

為了找到最小化誤差平方和的解析解，我們對誤差平方和關于參數(shù)m和b分別求導數(shù)，并令導數(shù)等于零，然后解這個方程組。這樣可以得到最佳的斜率m和截距b的估計值。

最終得到的解析解公式為：

這些公式通過對誤差平方和進行求導，然后將導數(shù)等于零解方程得到。它們給出了最小二乘法用于簡單線性回歸的斜率和截距的估計值。

三、公式由來

當使用最小二乘法解決簡單線性回歸時，我們希望最小化誤差平方和：

其中S是誤差平方和，n是數(shù)據(jù)點的數(shù)量，(x_i,y_i)是每個數(shù)據(jù)點的坐標，m是斜率，b是截距。

要找到最小化S的m和b，我們分別對S關于m和b求偏導數(shù)，并令偏導數(shù)等于零。

首先對S求關于m的偏導數(shù)：

接下來對S求關于b的偏導數(shù)：

然后令這些偏導數(shù)等于零，然后解方程組來找到最優(yōu)的m和b值。這些導數(shù)為零的方程將幫助我們找到最小化誤差平方和的斜率和截距的估計值。