Overfit vs Underfit

O sobreajuste e o subajuste são os dois modos de falha que delimitam qualquer problema de aprendizagem supervisionada. O subajuste ocorre quando um modelo não tem capacidade suficiente ou não treinou por tempo suficiente para capturar o sinal real nos dados: tanto a perda de treino como a perda de validação permanecem elevadas, indicando que o modelo é demasiado simples ou que a taxa de aprendizagem é demasiado grande. O sobreajuste ocorre quando o modelo aprendeu a memorizar o conjunto de treino em vez de generalizar: a perda de treino continua a cair enquanto a perda de validação estabiliza e depois sobe, criando a característica curva em U da validação. O intervalo entre as duas curvas em qualquer época é a decomposição viés-variância visualizada: um intervalo pequeno com ambas as perdas elevadas indica alto viés (subajuste), ao passo que um intervalo grande com baixa perda de treino indica alta variância (sobreajuste). O ponto ótimo é a época em que a perda de validação atinge o seu mínimo, tipicamente por volta da época 14 neste diagrama, e a paragem antecipada interrompe o treino nesse ponto para evitar maior memorização.

A consequência prática do intervalo de sobreajuste é a degradação do desempenho no conjunto de teste, frequentemente invisível durante o treino. Um modelo treinado até à época 35 apresenta aqui uma perda de treino próxima de 0,08 enquanto a perda de validação subiu para 0,45, um intervalo de cinco vezes que se traduziria diretamente numa fraca generalização para dados não vistos. As técnicas de regularização alteram o ponto em que as curvas se cruzam e a magnitude do intervalo. O dropout (zerando p = 0,5 das ativações em cada passo) obriga a rede a aprender representações redundantes, reduzindo o intervalo em 30 a 40 por cento em classificadores totalmente ligados típicos. A decaimento de pesos (regularização L2 com lambda = 1e-4) penaliza pesos grandes e suaviza a fronteira de decisão, retardando o início do sobreajuste. O aumento de dados multiplica efetivamente o tamanho do conjunto de treino, elevando a época em que a perda de validação atinge o seu mínimo. O diagrama colapsa os três efeitos de regularização num único princípio: qualquer técnica que eleve a época mínima da curva de validação ou reduza o seu patamar eventual é uma intervenção válida contra o sobreajuste.