Decision Tree

결정트리를 이용한 분류

 

- 결정트리는 귀납 추론을 위해 자주 사용되는 방법

- 데이터들을 트리 구조의 루트에서 시작하여 차례로 중간 노드들을 거쳐 단말 노드에 배정하는 기능을 수행

 

엔트로피와 정보이득

 

엔드로피는 식으로 정의되며 양성인 데이터 p+와 음성인 데이터 p-가 있을 때 식은 아래와 같다.

 

정보이득은 특정 속성에 따라 데이터를 나누었을 때의 줄어든 엔트로피로 정의된다. -> ID3알고리즘