Gradient Boosting

勾配ブースティングは、現在のアンサンブルの予測値に対する損失関数の負の勾配（二乗誤差回帰の場合は残差そのもの）を次の木が予測するように逐次学習することで、加法的なアンサンブルを構築する。最終予測は、初期定数（通常はラベルの平均値）に、全ての木の寄与をそれぞれ学習率（縮小率）で乗じた値を加算したものであり、学習率は一般に0.05から0.3の範囲に設定される。縮小は意図的に学習を遅らせるため、より多くの木が必要になるが、各木はよりなめらかでオーバーフィットの少ない信号を捉え、最終モデルの分散を低減する。処理は厳密に逐次的であり、木kが確定するまで木k+1を構築できないため、Random Forestのように木をまたいで自明な並列化を行うことはできない。

XGBoost（2016年）は、Friedmanの標準アルゴリズムに対して、葉の重みと木の深さに対するL1・L2正則化項を目的関数に直接組み込み、さらにデータセット全体のソートを回避する分位数スケッチに基づく近似分割探索アルゴリズムを追加した。LightGBM（Microsoft、2017年）は、勾配の大きいサンプルを全て保持しつつ勾配の小さいサンプルをサブサンプリングするGradient-based One-Side Sampling（GOSS）と、相互に排他的なスパース特徴量を同一ヒストグラムスロットにまとめるExclusive Feature Bundling（EFB）を導入し、精度をほぼ維持したまま大規模データセットで最大20倍の高速化を実現した。両フレームワークはカテゴリ変数の分割をネイティブにサポートし、学習済みのデフォルト方向によって欠損値を処理し、大域的・局所的な説明性のためのSHAP値を出力する。構造化された表形式データのベンチマークでは、チューニングされた勾配ブースティングモデルが機械学習コンペティションの大多数で最高性能を示している。