4 - 1. Supervised Learning 지도학습 기초

1. 지도학습의 목적

 

지도학습의 목적

 

 

Training Error, Validation Error, Test Error을 통해 Generalization Error 감소

 

 

 

2. Generalization Error 감소 방법

 

 

 

1) Test Error와 Training Error를 같게 만들어 Overfitting 방지

   해결방법 : 정규화, 더 많은 데이터를 수집

 

2) Train Error를 0에 가깝게 만들어 Underfitiing 방지 

   해결방법 : 최적화, 더 복잡한 모델 선택

 

3) Bias-variance trade-off 

   역의 관계인 Bias와 variance 간의 조정이 중요하다

 

 

 

3. Avoid overfitting

1) Regularization

 

MSE + Penalty

 

 

모델의 복잡도에 대한 Penalty 를 줌으로써 overfitting 방지

즉, 최소한의 θ를 쓰면서 Loss를 최소화 

 

2) Ensemble