s
19 708 Pages

L 'inférence bayésienne est une toute approcheinférence statistique dans lequel probabilité Ils ne sont pas interprétées comme des fréquences, des proportions ou des concepts similaires, mais plutôt que les niveaux de confiance en l'occurrence d'un événement donné. Le nom vient de Le théorème de Bayes, qui est le fondement de cette approche.

la Le théorème de Bayes à son tour, prend son nom du révérend Thomas Bayes. Cependant, on ne sait pas si la même Bayes souscrirait à l'interprétation de la la théorie des probabilités nous appelons maintenant bayésienne.

Principes et outils d'approche bayésienne

Les données empiriques et méthode scientifique

la statistique inférence bayésienne méthodes bayésienne soutiennent qu'ils représentent une formalisation méthode scientifique, ce qui implique normalement la collecte de données (des données empiriques), Qui viennent corroborer ou infirmer une date hypothèse. En ce sens, on ne peut jamais être certain d'un 'hypothèse, Mais la disponibilité des données de plus en plus modifie le degré de confiance; avec suffisamment de preuves empiriques, il deviendra très élevé (par exemple, tendant à 1) ou très faible (tendant à 0).

Le soleil est levé et fixé pour des milliards d'années. Le soleil a de nouveau ce soir. Avec une forte probabilité, le soleil se lèvera demain.

Cet exemple est tiré d'un argument de note Pierre Simon Laplace, dont il semble s'être indépendamment du résultat de Le théorème de Bayes.

la statistique Bayesian revendication aussi que l'inférence bayésienne constitue la base logique pour discriminer entre hypothèse alternatif / conflit. Grâce à cette approche, nous utilisons une estimation du degré de confiance dans une donnée hypothèse avant l'observation des données, afin d'associer une valeur numérique du degré de confiance dans ce même hypothèse puis les données d'observation. Comme il est basé sur les niveaux subjectifs de confiance, d'autre part, l'inférence bayésienne est pas tout à fait réductible au concept de induction; voir aussi méthode scientifique.

théorème de Bayes

En termes plus simples, la Le théorème de Bayes Il fournit une méthode pour changer le niveau de confiance dans une donnée hypothèse, la lumière de nouvelles informations. dénotant l 'hypothèse nulle, et l'empirique observée, la Le théorème de Bayes On peut dire que:

En laissant de côté l'origine de 'hypothèse nulle (Ce qui peut être formulée ab initio, ou déduites des observations précédentes), il doit toutefois être formulée premier observation . Dans la terminologie statistique bayésienne, aussi:

  • Il est probable que a priori de ;
  • il est appelé fonction de vraisemblance, et il est celui sur lequel l'inférence classique, ou frequentist;
  • il est appelé probabilité marginale, la probabilité d'observer , sans aucune information préalable; Il est une constante de normalisation;
  • Il est probable que a postériori de , donné .

Le facteur d'échelle peut être interprété comme une mesure de l'impact que l'observation de Il a le degré de confiance dans le chercheur "hypothèse nulle, représentée à son tour par la probabilité a priori ; il est très peu probable que est observée, à moins que est ou pas vrai, le facteur d'échelle sera élevé. La probabilité (confiance) en recul, par conséquent, combine les croyances que le chercheur a a priori avec ceux résultant de l'observation des données empiriques.

Il est facile de montrer que est toujours inférieure ou au plus égale à 1, de sorte que les propriétés habituelles de probabilité Ils sont satisfaits; En fait:

Donc, si , , et dans les autres cas, la probabilité a posteriori est strictement inférieur à 1.

probabilité objective et subjective

Certains bayésienne statistiques croient que s'il était possible d'attribuer une valeur de probabilité a priori objectif, la Le théorème de Bayes Il pourrait être utilisé pour fournir une mesure objective de la probabilité d'un 'hypothèse. Pour d'autres, cependant, il ne serait pas possible d'attribuer des probabilités objectif; En effet, cela semble exiger la possibilité d'attribuer des probabilités à la mesure du possible hypothèse.

dans le cadre d'une alternative (et le plus souvent, statistique bayésienne), Le probabilité Ils sont considérés comme une mesure du degré subjectif confiance par le chercheur, et est censé limiter le potentiel hypothèse à un ensemble limité, encadrée dans un modèle référence. la Le théorème de Bayes Il convient alors de fournir un critère rationnel pour l'évaluation de la mesure dans laquelle une observation donnée doit modifier les croyances du chercheur; Dans ce cas, cependant, la probabilité reste subjective: Vous pouvez donc utiliser le théorème pour justifier rationnellement une hypothèse, mais les coûts de rejeter l'objectivité des revendications qui en découlent.

Il est également peu probable que deux personnes se déplacent du même degré de confiance subjective. Les partisans soutiennent que la méthode bayésienne, même avec des probabilités a priori très différentes, un certain nombre d'observations suffisantes peut conduire à très probablement fermer arrière. Cela suppose que les chercheurs ne refusent pas a priori la hypothèse que leurs homologues, et que attribuer des probabilités conditionnelles (fonctions de vraisemblance) Similaires.

L'école de statistiques Italien a apporté une contribution importante au développement de la conception subjective de probabilité, à travers le travail de Bruno de Finetti. Sur la distinction entre probabilité objectif et subjectif, voir aussi l'article sur probabilité.

Rapport de vraisemblance

Souvent, l'impact de l'observation empirique peut être synthétisé par un rapport vraisemblance. Ce dernier peut être combiné avec la probabilité a priori, pour représenter le degré de confiance a priori et tout résultat empirique précédent. Par exemple, considérons la relation de vraisemblance:

Vous pouvez réécrire la déclaration de Le théorème de Bayes tels que:

Sur la base de deux résultats empiriques indépendant , , ci-dessus peut être utilisé pour calculer la probabilité a posteriori sur la base de , et l'utiliser comme un nouveau probabilités a priori pour calculer une seconde probabilité a posteriori sur la base de . Cette procédure est algébriquement équivalent à multiplier les rapports de vraisemblance. Donc:

Cela implique:

Fonction de perte

la statistique bayésienne Il a des liens importants avec le théorie de la décision; une décision fondée sur base d'inférence bayésienne est déterminée par une fonction de perte associée. La fonction de perte reflète principalement les conséquences négatives associées à la « mauvaise » décision. Un exemple tout à fait commun, et qui conduit à des résultats très proches de ceux des classiques ou fréquentiste inférence, est celle de la fonction de perte quadratique.

Détails distributions a priori et a posteriori

Le V.C. Beta dans l'inférence bayésienne

la V.C. bêta joue un rôle important dans l'inférence bayésienne, parce que pour certains V.C. est à la fois la distribution a priori que la distribution a posteriori (avec des paramètres différents) des paramètres tels V.C.

conjugué Priori et V.C. binomial

Si X est distribué sous forme V.C. binomial paramétrés n et π

et le paramètre π est distribué a priori comme un V.C. bêta avec des paramètres à et b

le paramètre π est également distribué à l'arrière comme un V.C. Beta, mais avec des paramètres a + x et b + n-x

Si la distribution a priori est un rectangulaire variable aléatoire dans l'intervalle [0; 1] (par exemple l'hypothèse a priori toutes les valeurs possibles de π équiprobable), et par conséquent a = 1 et b = 1, puis la distribution a posteriori est une version bêta avec des paramètres x + 1 et n-x + 1

dont la valeur modale p (Et par conséquent, la valeur la plus probable)

, ce qui correspond à la fréquence observée qui est l'estimation utilisé dans le domaine de frequentistic

tandis que la valeur que minimise l'écart, à savoir la moyenne est

, pour x

V.C. Beta, binomiale et bêta-binomiale

Dans le cas d'un v.c binomiale avec Beta conjugué avant (a, b) de la , le V.C. qui décrit la probabilité d'obtenir x événements positifs de n Il est distribué en tant que variable aléatoire bêta-binomiale . Le V.C. Bêta-binomial entre ainsi dans la formule avec lequel il est déterminé de telle manière la probabilité a posteriori de Bayes d'un modèle.

conjugué Priori et V.C. binomiale négative

Si X est distribué sous forme V.C. binomiale négative paramétrés m et θ

et le paramètre θ est distribué a priori comme un V.C. Beta avec des paramètres à et b

puis le paramètre θ est également distribué à l'arrière comme un V.C. Beta, mais avec des paramètres a + m et b + x

Si la distribution a priori est un rectangulaire variable aléatoire dans l'intervalle [0; 1] (par exemple l'hypothèse a priori toutes les valeurs possibles de θ équiprobable), et par conséquent a = 1 et b = 1, puis la distribution a posteriori est une version bêta avec des paramètres m + 1 et x + 1

dont la valeur modale t (Et par conséquent, la valeur la plus probable)

t = m / (m + x)

Le V.C. dans l'inférence bayésienne Plage

la V.C. gamma joue un rôle important dans l'inférence bayésienne, parce que pour certains V.C. est à la fois le distirubuzione a priori que la distribution a posteriori (avec des paramètres différents) des paramètres tels V.C.

conjugué Priori et le même V.C. gamma

Si X est distribué sous forme V.C. Gamma avec des paramètres a et θ

et le paramètre θ est distribué a priori à son tour comme un V.C. Gamma avec des paramètres à et b

puis le paramètre θ est également distribué à l'arrière comme un V.C. Plage, mais avec des paramètres a + α et b + x

conjugué Priori et V.C. Poisson

Si X est distribué sous forme V.C. Poisson avec le paramètre λ

et le paramètre λ est distribué a priori comme un V.C. Gamma avec des paramètres à et b

le paramètre λ est également distribué à l'arrière comme un V.C. Plage, mais avec des paramètres a + x et b + n

V.C. Poisson, Poisson et Gamma-Gamma

Dans le cas où le conjugué avant d'un v.c Poisson est un V.C. Gamma, la probabilité qui sera réalisé x les événements sont distribués en tant que Poisson variable aléatoire gamma. Poisson-Gamma entrera dans la formule par laquelle il détermine si la probabilité d'un modèle bayésien après avoir pris connaissance des données.

V.C. exponentielle, Gamma et Gamma-Gamma

Dans le cas où le conjugué d'un avant variable aléatoire exponentielle est un V.C. Gamma, la fonction de densité de probabilité est distribué comme une variable aléatoire gamma-gamma.

conjugué Priori et V.C. normal

V.C. Gamma a priori comme des conjugués de V.C. normal

Si X est distribué sous forme V.C. normal avec Parametr μ et 1 / θ

et le paramètre θ est distribué a priori comme un V.C. Gamma avec des paramètres à et b

puis le paramètre θ est également distribué à l'arrière comme un V.C. Plage, mais avec des paramètres à + 1/2 et b + (x-μ)2/ 2

conjugué Priori normal normal

Si X est distribué sous forme V.C. normal paramétrés m et σ2

et le paramètre m Il a distribué a priori comme V.C. normale avec des paramètres μ et σ2

le paramètre m Il est également distribué à l'arrière comme V.C. Normal, mais avec des paramètres et

Le V.C. Dirichlet comme conjugué a priori de multinomial

Si X est distribué sous forme aléatoire multinomial variables

et la distribution a priori de θ est un Dirichlet variable aléatoire

puis la distribution arrière θ est également un V.C. Dirichlet, mais avec de nouveaux paramètres

L'uniforme discrète dans le cas d'extraction simple

Si X est distribué comme suite à une simple extraction d'une population dichotomique

et le paramètre θ est distribué comme a priori uniforme discrète variable aléatoire

puis la distribution a posteriori avec fonction de probabilité

Popularité: inférence bayésienne

L'inférence bayésienne a longtemps représenté un courant minoritaire dans la théorie des statistiques. Cela est en grande partie en raison des difficultés algébriques qu'il présente; le calcul de la probabilité a posteriori est basée sur le calcul de intégrales, pour qui, souvent, vous n'avez pas des expressions analytiques.

Ces difficultés ont jusqu'à il y a quelques années ont limité la capacité des statistiques bayésiens pour produire des modèles réalistes de la réalité. Afin d'éviter d'encourir des problèmes algébriques, la plupart des résultats étaient basés sur la théorie des conjugués, des distributions spéciales des ménages pour lesquels la probabilité a posteriori se révèle avoir la même forme que celle a priori. Il est clair qu'une approche de ce genre n'a pas eu avec l'ambition de faire la statistique bayésienne des hypothèses moins restrictives que l'inférence classique.

Merci à la plus grande disponibilité des ressources informatiques depuis la années nonante, il était possible de surmonter ces difficultés. Il est en effet possible de résoudre intégrales via numérique, sans passer par les problèmes algébriques, dans la plupart des applications sur tout ordinateur personnel. Cette possibilité a également stimulé l'application des méthodes numériques statistiques bayésiens développées dans d'autres contextes, tels que ceux basés sur la simulation (méthode de Monte Carlo, algorithmes échantillonnage de Gibbs et Metropolis-Hastings), Ainsi que le développement de nouvelles méthodes dans le cadre de la statistique bayésienne lui-même (par exemple les méthodes populaires sur la base Markov Chain Monte-Carlo, ou MCMC). Cela a considérablement augmenté la popularité inférence bayésienne entre statisticiens; Bien que bayésien constituent encore une minorité, il est une minorité en croissance rapide.

Au-delà des difficultés numériques qui ont longtemps fait l'inférence bayésienne impopulaires ou les questions épistémologiques qui soulèvent des méthodes bayésienne, l'approche bayésienne a le mérite d'avoir stimulé, en statistiques comme dans d'autres disciplines (un exemple récent est donné par 'économie), Réflexion sur quel modèle et que la lecture d'un chercheur doit donner.

Articles connexes

  • Thomas Bayes
  • Pierre Simon Laplace
  • théorème de Bayes
  • Statistiques bayésienne
  • filtre bayésien

liens externes

autorités de contrôle GND: (DE4144220-9