SVM中的函数间隔和几何间隔

2017-04-09

在SVM中,函数间隔(functional margin)是判断分类是否正确的评估函数,而几何间隔(geometric margin)是按$||w||$缩放后的函数间隔。

函数间隔公式: $\displaystyle \widehat\upsilon_i=y_i \left( w^Tx+b \right)$,其中$y_i$为分类的结果,通常为(1,-1)。$\upsilon_i$表示分类的准确性及确性程度,但是并不能表示分类点到超平面的远近程度。当我们成比例的缩放$w$和$b$的时候,超平面本身是不变的,但是明显函数间隔会跟着缩放,所以我们需要将其归一化,将$w$的大小固定,如$||w||$=1,这样函数间隔就变成了几何间隔。

几何间隔公式: $\displaystyle \upsilon_i=y_i\left( \frac{w^T}{||w||}*x+\frac{b}{||w||} \right)$,其中$||w||$为$w$的L2范数。通过几何距离,我们不但可以进行分类,还能衡量分类点到超平面的距离。当$||w||$=1时,函数间隔和几何间隔相等,当超平面参数w和b成比例地改变,函数间隔也按此比例改变,而几何间隔不变。