Howtosignalprocessing
- Ist Kullback-Leibler eine Entfernung?
- Was ist der Bereich der KL -Divergenz??
- Kann KL -Divergenz als Entfernungsmaßnahme verwendet werden??
- Wie wird Kullback-Leibler berechnet??
Ist Kullback-Leibler eine Entfernung?
Die Kullback-Leibler-Divergenz zwischen zwei Wahrscheinlichkeitsverteilungen ist ein Maß dafür, wie unterschiedlich die beiden Verteilungen sind. Es wird manchmal eine Distanz bezeichnet, aber es ist keine Entfernung im üblichen Sinne, weil es nicht symmetrisch ist.
Was ist der Bereich der KL -Divergenz??
Wenn zwei Verteilungen perfekt übereinstimmen, kann d_ kl (p || q) = 0, da ansonsten Werte zwischen 0 und ∞ aufnehmen kann. Senken Sie den KL -Divergenzwert, desto besser haben wir die wahre Verteilung mit unserer Näherung überein.
Kann KL -Divergenz als Entfernungsmaßnahme verwendet werden??
Obwohl die KL-Divergenz den „Abstand“ zwischen zwei Verteilungen misst, ist es keine Entfernungsmaßnahme. Dies liegt daran, dass die KL -Divergenz keine metrische Maßnahme ist. Es ist nicht symmetrisch: Das KL von P (x) zu Q (x) ist im Allgemeinen nicht dasselbe wie das KL von q (x) bis p (x).
Wie wird Kullback-Leibler berechnet??
KL -Divergenz kann als negative Wahrscheinlichkeit der Wahrscheinlichkeit jedes Ereignisses in P multipliziert mit dem Protokoll der Wahrscheinlichkeit des Ereignisses in Q über die Wahrscheinlichkeit des Ereignisses in P multipliziert werden. Der Wert innerhalb der Summe ist die Divergenz für ein bestimmtes Ereignis.
