[머신러닝] SVM 서포트 벡터 머신

SVM의 정의

 

SVM(Support vector machine)은 두 데이터 그룹을 나누는 초평면을 찾으면서 이 폭이 가장 넓은 것을 찾는 방법이다.

마진을 최대로 넓게 만들때 마진 양쪽에 서로다른 그룹에 속하는 데이터들이 하나씩 닿아 있고 이것을 서포트 벡터라고 한다.

 

위 같이 마진이 큰 초평면을 찾는 것이 핵심이다. 위 마진 안에는 어떠한 데이터도 없는데 어떠한 데이터도 마진 내에 들어오지 않을 경우 하드마진이라고 부른다.

 

SVM 수식

 

위에서 여백 너비(margin width)는 아래와 같다

 

하드마진에서는 

위 제약조건을 만족하는 초평면을 찾는 것이 문제가 된다. 

 

반면에 소프트마진은 노이즈 일수도 있는, 데이터 들이 마진 안에 있는 경우를 허용한다.

소프트 마진을 사용할 때는 마진 내에 들어갈 수 있는 데이터의 수를 제어하고 그 변수를 슬랙변수라고 한다.

 

 

결국에는 마진을 크게 하면서 슬랙 변수를 최소화시키는게 중요해진다.

여기서 C는 제어변수로서 무엇에 더 초점을 둘 것인지 결정할 수 있다.

 

다음시간에는 커널함수에 대해서 포스팅을 할 것이다.