s
19 708 Pages

en mathématiques et statistiques, en particulier dans les domaines de la 'apprentissage machine et problèmes inverses, la régularisation Elle implique l'introduction d'informations supplémentaires afin de résoudre un problème mal conditionné ou pour empêcher "adaptation excessive. Ces informations sont généralement sous la forme d'une pénalité pour la complexité, comme une restriction à un douceur ou une limitation norme d'un espace vectoriel.

Une justification théorique pour la régularisation est celui pour lequel elle constitue une tentative d'imposer la Le rasoir d'Occam la solution. D'un point de vue bayésienne, De nombreuses techniques de régularisation correspondent à imposer certaines distributions prieurs les paramètres du modèle.

La même idée est dans de nombreux domaines science. Par exemple, la méthode de moindres carrés Il peut être considéré comme une forme très simple de régularisation. Une forme simple de régularisation appliquée à équations intégrales, généralement appelé régularisation de Tikhonov nommément Andrey Tikhonov Nikolaïevitch, Il est essentiellement constitué par un équilibre entre la régression données et une solution en fonction de la norme. Plus récemment, ils sont devenus des méthodes populaires de régularisation non-linéaires, y compris la régularisation en variation totale (la régularisation de la variation totale).

Régularisation dans les statistiques

Dans les statistiques, et apprentissage machine, régularisation est utilisé pour prévenir 'adaptation excessive. Parmi les exemples typiques de régularisation de l'apprentissage statistique, il y a la régularisation de Tikhonov, la méthode dite des moindres carrés LASSO (Moins absolu et Rétrécissement Opérateur de sélection), Et norme L2 en les machines à vecteurs.

Les méthodes de régularisation sont également utilisés pour la sélection des modèles, où leur fonctionnement est basé sur la criminalisation implicite ou explicite du nombre de paramètres du modèle. Par exemple, les méthodes l'apprentissage bayésien Ils utilisent une probabilité a priori que (généralement) attribue une valeur de probabilité inférieure à des modèles plus complexes. Parmi les techniques de sélection bien connus il y a Akaike informations critère (Akaike informations critère, AIC), la longueur de description minimale (longueur de description minimale, MDL), et le critère d'information bayésien (critère d'information bayésien, BIC). Des méthodes alternatives pour contrôler 'adaptation excessive, impliquant la régularisation, il y a la Validation croisée.

Des exemples de différentes méthodes de régularisation appliquée au modèle linéaire sont les suivants:

modèle taille ajustement mesure entropie
AIC/BIC
Ridge régression
Procédé LASSO[1]
poursuite Base débruitage
RLAD[2]
dantzig Sélecteur[3]

notes

  1. ^ Robert Tibshirani, La régression de retrait et de sélection par l'intermédiaire du Lasso (ps), Dans Journal de la Société royale de statistique, série B (Méthodologie), vol. 58, nº 1, 1996, pp. 267-288, MR 1379242. Récupéré 19 Mars, 2009.
  2. ^ Li Wang, Michael D. Gordon Ji Zhu, Régularisées moins absolu Déviations de régression et un algorithme efficace pour le paramètre Tuning, en Sixième Conférence internationale sur l'exploration de données, Décembre 2006, pp. 690-700, DOI:10,1109 / ICDM.2006.134.
  3. ^ Emmanuel Candes, Tao, Terence, Le sélecteur Danzig: estimation statistique Lorsque p est beaucoup plus grande que n, en Annals of Statistics, vol. 35, nº 6, 2007, pp. 2313-2351, DOI:10,1214 / 009053606000001523, MR 2382644, arXiv:math / 0506081.

références

Activité wiki récente

Aidez-nous à améliorer BooWiki
Commencez