Gradient Boosting

Gradient Boosting konstruiert ein additives Ensemble, indem jeder neue Baum darauf trainiert wird, den negativen Gradienten der Verlustfunktion bezogen auf die Vorhersagen des aktuellen Ensembles zu schätzen – bei der quadratischen Verlustfunktion entspricht dies den rohen Residuen. Die finale Vorhersage ergibt sich als Summe der initialen Konstante (typischerweise der mittlere Zielwert) und der Beiträge aller Bäume, jeweils multipliziert mit einer Lernrate (Shrinkage), die üblicherweise zwischen 0,05 und 0,3 liegt. Shrinkage verlangsamt das Lernen bewusst, sodass mehr Bäume benötigt werden, aber jeder Baum ein glatteres, weniger überangepasstes Signal approximiert, was die Varianz des Endmodells reduziert. Der Prozess ist streng sequenziell: Baum k+1 kann erst gebaut werden, wenn Baum k abgeschlossen ist – deshalb lässt sich Gradient Boosting nicht so trivial über Bäume hinweg parallelisieren wie Random Forest.

XGBoost (2016) erweiterte den kanonischen Friedman-Algorithmus durch explizite L1- und L2-Regularisierungsterme für Blattgewichte und Baumtiefe direkt in der Zielfunktion sowie durch einen approximativen Split-Finding-Algorithmus auf Basis von Quantil-Sketches, der das vollständige Sortieren des Datensatzes vermeidet. LightGBM (Microsoft, 2017) führte Gradient-based One-Side Sampling (GOSS) ein, das alle Instanzen mit hohem Gradienten beibehält und solche mit niedrigem Gradienten unterabtastet, sowie Exclusive Feature Bundling (EFB), das sich gegenseitig ausschließende spärliche Merkmale in denselben Histogramm-Slot packt – beides zusammen erzielt auf großen Datensätzen bis zu 20-fache Beschleunigungen bei minimalem Genauigkeitsverlust. Beide Frameworks unterstützen nativ kategoriale Splits, behandeln fehlende Werte über eine gelernte Standardrichtung und geben SHAP-Werte für globale und lokale Erklärbarkeit aus. Auf strukturierten tabellarischen Benchmarks gewinnen optimierte Gradient-Boosting-Modelle die Mehrheit der kompetitiven Machine-Learning-Wettbewerbe.