[Machine Learning] 기본 정리

 

 

 

평균과 오차

 

 

통계학에서 사용되는 가장 단순한 모델 중 하나가 평균이다. 즉 우리가 평소에 익숙하게 사용해왔던 '평균'도 하나의 모델이었던 것이다. 관측값(실제값)과 모델의 예측값의 차이를 이탈도(Deviance), 오차 라고 한다.

 

 

과대적합, 과소적합

 

• 과대적합 (Overfitting)

- 학습 데이터에 대해서는 성능이 매우 좋은데, 평가 데이터에 대해서는 성능이 좋지 않은 경우

- 학습 데이터에 대해서만 잘 맞는 모델. 실전에서 예측 성능이 좋지 않음.

- 보통 과적합이라고 하면 과대적합을 의미한다.

 

• 과소적합 (Underfitting)

- 학습 데이터보다 평가 데이터에 대한 성능이 매우 좋거나, 모든 데이터에 대한 성능이 매우 안 좋은 경우

- 모델이 너무 단순하여 학습 데이터에 대해 적절히 훈련이 되지 않은 경우