Computer Science/머신러닝

SVM의 정의 SVM(Support vector machine)은 두 데이터 그룹을 나누는 초평면을 찾으면서 이 폭이 가장 넓은 것을 찾는 방법이다. 마진을 최대로 넓게 만들때 마진 양쪽에 서로다른 그룹에 속하는 데이터들이 하나씩 닿아 있고 이것을 서포트 벡터라고 한다. 위 같이 마진이 큰 초평면을 찾는 것이 핵심이다. 위 마진 안에는 어떠한 데이터도 없는데 어떠한 데이터도 마진 내에 들어오지 않을 경우 하드마진이라고 부른다. SVM 수식 위에서 여백 너비(margin width)는 아래와 같다 하드마진에서는 위 제약조건을 만족하는 초평면을 찾는 것이 문제가 된다. 반면에 소프트마진은 노이즈 일수도 있는, 데이터 들이 마진 안에 있는 경우를 허용한다. 소프트 마진을 사용할 때는 마진 내에 들어갈 수 있는..

결정트리를 이용한 분류 - 결정트리는 귀납 추론을 위해 자주 사용되는 방법 - 데이터들을 트리 구조의 루트에서 시작하여 차례로 중간 노드들을 거쳐 단말 노드에 배정하는 기능을 수행 엔트로피와 정보이득 엔드로피는 식으로 정의되며 양성인 데이터 p+와 음성인 데이터 p-가 있을 때 식은 아래와 같다. 정보이득은 특정 속성에 따라 데이터를 나누었을 때의 줄어든 엔트로피로 정의된다. -> ID3알고리즘

KNN알고리즘은 지도학습에 속하는 머신러닝 알고리즘이다. 만약 닥스훈트와 사모예드를 분류한다고 하면 이전에 각각의 이미지가 어떤 레이블에 속하는 지 학습시킨 후, 새로운 데이터를 예측하는 것이다. KNN 알고리즘은 K-Nearest Neightbor의 약자로 특징 공간에 분포하는 데이터에 대하여 k개의 가장 가까운 이웃을 살피고 다수결의 방식으로 데이터의 레이블을 할당하는 분류방식이다. 만약에 사모예드와 닥스훈트를 비교해보자. 닥스훈트는 몸통의 길이가 높이에 비해 길다. 만약 새로운 데이터가 들어왔을 때 몸통의 길이가 더 긴 데이터가 들어왔다면 닥스훈트일 확률이 더 높을 것이다. KNN은 데이터의 가장 가까운 K개의 이웃을 통해 다수결의 방식으로 어떤 레이블(닥스훈트,사모예드) 인지를 결정하는 것이다. ..