Über Konvergenz der KL -Divergenz Wenn die beiden Wahrscheinlichkeitsverteilungen Typ sind, funktioniert das Gesetz der großen Anzahl?

1. Was ist die KL -Divergenz zwischen zwei gleichen Verteilungen??
2. Was ist eine große KL -Divergenz?
3. Das gilt für Kullback-Leibler-Divergenz?
4. Ist die Kullback-Leibler-Divergenz immer positiv?

Was ist die KL -Divergenz zwischen zwei gleichen Verteilungen??

KL -Divergenz kann als negative Wahrscheinlichkeit der Wahrscheinlichkeit jedes Ereignisses in P multipliziert mit dem Protokoll der Wahrscheinlichkeit des Ereignisses in Q über die Wahrscheinlichkeit des Ereignisses in P multipliziert werden. Der Wert innerhalb der Summe ist die Divergenz für ein bestimmtes Ereignis.

Was ist eine große KL -Divergenz?

Kullback-Leibler-Divergenz wird als Maß für die „Überraschung“ einer Verteilung beschrieben. Wenn die Verteilungen beispielsweise gleich sind, ist die KL-Divergenz Null. Wenn die Verteilungen dramatisch unterschiedlich sind, ist die KL-Divergenz groß.

Das gilt für Kullback-Leibler-Divergenz?

Die Kullback-Leibler-Divergenz ist nicht symmetrisch, ich.e., KL (p || q) ≠ kl (q || p) und es kann gezeigt werden, dass es sich um eine nichtnegative Menge handelt (der Beweis ist dem Beweis, dass die gegenseitigen Informationen nicht negativ sind; siehe Problem 12.16 von Kapitel 12). Darüber hinaus ist es Null, wenn und nur wenn p = q.

Ist die Kullback-Leibler-Divergenz immer positiv?

Die Ungleichheit von Gibbs, auch bekannt als die Ungleichheit der Shannon-Kolmogorov. KL (f | g) ≥ 0.