#05. 모델링 이론 1- 부스팅(boosting) 알고리즘

들어가기 전... 앙상블(Ensenbles)이란? : 여러 모델을 이용하여 데이터를 학습하고, 모든 모델의 예측 결과를 평균하여 예측 - 앙상블 기법은 sampling하는 방법이나 최종 의사결정을 내는 방법 등에 따라 3가지 기법이 있음 (1) Boosting : sequential 하게 모델링 하면서 i-1번째 모델에서 잘 예측하지 못한 sample들이 i번째 모델의 학습데이터로 활용될 수 있게 weight를 조정하는 방식으로 sampling한다. 그리고 새로운 sample이 들어오면 k개의 예측결과를 살펴보고, 각 모델의 중요도(α)의 합이 큰 결과를 최종 예측 결과로 도출한다. (2) Bagging : 전체 sample로 모형을 만드는 것이 아니라 k 개의 Bootstrap sample을 통해 k개..