拉格朗日函數(shù)怎么構(gòu)造的

發(fā)布時間：2025-10-02 | 來源：互聯(lián)網(wǎng)轉(zhuǎn)載和整理

，拉格朗日的定義就是，有多少個約束，每個約束乘以拉格朗日乘子再加上原目標(biāo)，所以是累加。

其實構(gòu)造這個公式的意義本身，是要求構(gòu)造出的無約束問題L(w,b,alpha)與原問題等價。

Hard-marginSVM:

?

拉格朗日：

?

在求解L(w,b,alpha)過程中，我們首先將b，w固定，然后在該固定的b，w下，調(diào)整alpha，對alpha求導(dǎo)，

?

得到在該b，w下最大的L_max，那么在所有的L_max中選擇一個最小的，其對應(yīng)的b，w則是該拉格朗日問題的最優(yōu)的b，w。并且與原Hard-marginSVM求得的b,w相同。該過程也就是

?

而這兩個問題為什么等價，也就是為什么上述兩種方法求得的b，w相同呢？下面給一個簡單的說明。

假設(shè)由拉格朗日問題求得的b,w不滿足原SVM的條件，即

?

又因為alpha>=0,因此

?

的最大值為正無窮。

2.假設(shè)求得的b,w滿足原SVM的條件，即

?

?

則要想取得最大值，上式中，只需要alpha_n=0,得到的最大值為

?

即剛好與原問題等價。