[AI/ML]Gradient Boosting

Gradient Boosting은 Boosting 계열 앙상블 기법 중 하나로, 앞선 모델의 오차(residual)를 경사하강법(Gradient Descent) 방식으로 보완하면서 학습하는 방법임.

1. 정의

• Boosting: 이전 모델이 틀린 부분을 점점 보완해가는 앙상블 기법
• Gradient Boosting: 이 보완 과정을 경사하강법(gradient descent) 아이디어로 수치화해서, 잔차(residual, 남은 오차)를 줄이는 방향으로 새로운 약한 학습기를 추가하는 방식

즉, “앞 모델의 에러를 줄이는 방향으로 계속 보완하는 단계적 학습”임.

2. 동작 원리 (단계별)

1. 첫 번째 약한 학습기(보통 얕은 결정트리)를 학습시킴
2. 예측값과 실제값 차이(잔차, residual)를 계산
3. 잔차를 줄이도록 새로운 트리를 학습 (마치 오차에 맞춰 경사하강법 적용)
4. 이전 모델 + 새로운 모델을 합쳐 최종 모델 갱신
5. 이 과정을 반복하면서 점점 예측력이 개선됨

3. 비유

비유로 생각하면:

• 어떤 학생이 모의고사를 봤는데,
  • 1차: 수학은 잘 풀었는데 영어 틀림 → 다음엔 영어 공부에 집중
  • 2차: 영어는 보완됐지만 과학 틀림 → 과학에 집중
  • 3차: 과학도 보완 → 성적 점점 올라감 👉 Gradient Boosting은 “앞에서 틀린 부분(오차)”을 집중해서 보완하는 학습법임.

4. 예시

집값 예측 문제:

• 트리1: 위치 기반 예측 → 평균 오차 큼
• 트리2: 트리1의 잔차를 줄이려고 면적 변수에 집중 → 오차 ↓
• 트리3: 다시 잔차 줄이려고 연식 변수 반영 → 오차 ↓
• 최종적으로 여러 트리 합쳐 성능 크게 향상

5. AdaBoost와 비교

구분	AdaBoost	Gradient Boosting
보완 방식	틀린 샘플에 가중치 ↑	잔차(residual)를 줄이는 방향으로 학습
수학적 기반	가중치 업데이트 규칙	경사하강법(gradient descent)
약한 학습기	보통 결정 stump	보통 얕은 결정트리
민감도	노이즈에 민감	과적합 위험 존재
발전형	–	XGBoost, LightGBM, CatBoost 등

6. 핵심 정리

• Boosting 계열 → 순차적 학습
• Gradient Boosting = “경사하강법 + Boosting”
• 장점: 높은 예측 성능, 복잡한 데이터에도 잘 동작
• 단점: 학습 느림, 과적합 위험 (→ XGBoost, LightGBM이 개선한 버전)

💡 한 줄 정리

Gradient Boosting은 앞선 모델의 오차를 경사하강법으로 줄여가며 순차적으로 약한 학습기를 결합해 강력한 예측 모델을 만드는 Boosting 기법이다.