Skip to content

Régression logistique

Logistic Regression

Logistic RegressionSigmoid squashes logit z to P(y=1|x); decision boundary at p = 0.5 (z = 0)-6-4-20246Logit z (linear score w·x + b)0.000.250.500.751.00P(y=1 | x)Decision boundaryz = 0, p = 0.5Class 0 (negative)Class 1 (positive)p 1 (asymptote)p 0 (asymptote)Key MechanicsSigmoid functionσ(z) = 1 / (1 + e⁻ᶣ)Log-odds (logit)log[p/(1-p)] = w·x + bMLE objectivemax Σ y log p + (1-y) log(1-p)Binary cross-entropyLoss = -[y log p + (1-y) log(1-p)]RegularisationL2 (Ridge) shrinks weights, prevents overfitUnlike linear regression, LR is trained via gradient descent on log-loss, not OLS; outputs are calibrated probabilities, not raw scores

Représentation d'une variable explicative unidimensionnelle en fonction de la probabilité ajustée par une courbe sigmoïde. La frontière de décision à p = 0,5 correspond au seuil logit = 0. La version bidimensionnelle illustre une frontière linéaire dans l'espace des variables. La fonction objectif du maximum de vraisemblance (MLE) et le gradient sont annotés.

English version