[머신러닝 1강] K-Nearest classifier

KNN알고리즘은 지도학습에 속하는 머신러닝 알고리즘이다. 만약 닥스훈트와 사모예드를 분류한다고 하면 이전에 각각의 이미지가 어떤 레이블에 속하는 지 학습시킨 후, 새로운 데이터를 예측하는 것이다.

 

KNN 알고리즘은 K-Nearest Neightbor의 약자로 특징 공간에 분포하는 데이터에 대하여 k개의 가장 가까운 이웃을 살피고 다수결의 방식으로 데이터의 레이블을 할당하는 분류방식이다.

 

출처: https://bskyvision.com/entry/%EC%A7%81%EA%B4%80%EC%A0%81%EC%9D%B4%EA%B3%A0%EB%8F%84-%EB%A7%A4%EC%9A%B0-%EA%B0%84%EB%8B%A8%ED%95%9C-%EB%B6%84%EB%A5%98-%EB%AA%A8%EB%8D%B8-kNNk-Nearest-Neighbor

 

만약에 사모예드와 닥스훈트를 비교해보자.

 

닥스훈트는 몸통의 길이가 높이에 비해 길다. 만약 새로운 데이터가 들어왔을 때 몸통의 길이가 더 긴 데이터가 들어왔다면 닥스훈트일 확률이 더 높을 것이다.

 

KNN은 데이터의 가장 가까운 K개의 이웃을 통해 다수결의 방식으로 어떤 레이블(닥스훈트,사모예드) 인지를 결정하는 것이다.

 

k개 중에 레이블을 선택해야 하는데 어떻게 수학적으로 이를 구현할 수 있을까?

 

위와 같이 k개를 구했으면 거리에 따라서 가중치를 둔다. 멀수록 가중치가 높아지도록 하면 가중치의 합이 가장 낮은 클래스로 분류하면 된다.

 

그렇다면 KNN의 장단점은 무엇일까?

 

장점: 학습이란게 별로 없고 직관적인 알고리즘

단점: 거리를 계산하는데에 따른 많은 계산시관과 메모리 공간

 

일반적으로 KNN알고리즘은 데이터가 많아지면 optimal한 성능까지 낸다고 합니다.

 

데이터의 정규화

 

만약 feature들의 단위가 차이가 난다고 했을 때 그 차이가 심하다면 KNN알고리즘에서의 거리가 단위가 작은 쪽에 의해 좌지우지 됩니다. 그래서 데이터의 크기를 맞춰주고자 정규화가 필요할 수 있습니다.

 

가령 성인남녀의 연봉과 시력을 feature로 했을 때 두 데이터의 크기차이가 많이 나니 이를 조정해 주어야 한다는 것입니다.

 

방법으로는 두가지가 있습니다.

 

1. 최소값 0, 최대값 1 고정 후 모든 값들을 0과 1사이의 값으로 변환

2. 평균과 표준편차를 활용하여 평균으로부터 얼마나 떨어져 있는지를 z-점수로 변

 

성능평가(measure)

 

모든 값 중 True Positive, True negative의 비율

	긍정 - 예측	부정 - 예측
긍정 - 실제	True Positive (a)	(b)
부정 - 실제	(c)	True Negative (d)

 

성능 = (a+b+c+d) / (a+d)