XGBoost

XGBoost란?

Extreme Gradient Boosting 의 줄임말이며, 기존의 Gradient Boosting 알고리즘에서 발생하는 과적합 문제를 해결하기 위해 개발된 알고리즘 입니다. 대부분의 경우에서 매우 준수한 성능을 발휘한다고 합니다.

기본적인 사용방법에 대해서 우선 기술하겠습니다.

# X_trian - train 데이터 셋
# y_train - trian 데이터 라벨
# X_valid - valid 데이터 셋
# y_valid - valid 데이터 라벨

import xgboost as xgb

# 기본 모델 정의
model = xgb.XGBRegressor(learning_rate,
                         max_depth,
                         gamma,
                         min_child_weight,
                         n_estimators,
                         subsample,
                         random_state
)
model.fit(X_train, y_train)

model.predict(X_valid)

위와 같은 코드를 통하여, 기본적인 XGBoost 모델을 생성할 수 있습니다.

XGBoost의 경우 회귀 모형과 분류 모형을 모두 제공하므로 문제에 따라 원하는 모형을 사용할 수 있습니다.