Machine Learning
ML에서 모델 결합 - Bagging과 Boosting 개념설명
흰곰곰
2019. 10. 9. 20:59
Bagging과 Boosting
- 주로 머신러닝에서 많이 사용하는 기법 2가지를 설명드리겠습니다.
1. 앙상블 기법 ( Ensemble)
- Bagging과 Boosting이 해당 된다.
- 동일한 학습 알고리즘을 사용하여 여러모델을 학습시킨다.
- 서로 다른 모델을 결합하여 새로운 모델을 만들어내는 방법( Stacking ) 과 대조
2. Bagging
- 여러번 샘플을 뽑아서 각 모델을 학습시켜 결과 집계하는 방법
- 이렇게 하는 이유 : 알고리즘의 안정성과 정확성을 향상시키기 위해서
- 높은 bias로 인한 언더피팅
- 높은 variance로 인한 오버피팅
- 오버피팅을 피할 수 잇는 가장 좋은 방법
- 대표적으로 많이 사용되는 것으로는 Random Forest
3. Boosting
- bagging이 일반적인 모델을 만드는데 집중한 반면에, Boosting은 맞추기 어려운 문제를 맞추는데 초점을 두고 있다.
- bagging과 동일하게 복원랜덤 샘플링을 하지만, 가중치를 부여한다는 차이
- bagging은 병렬로 학습, boosting은 순차적으로 학습 ( 가중치 재분배를 위해서 )
- 대표적인 모델로는 AdaBoost, XGboost, GradientBoost
