Howtosignalprocessing
- Was sind gegenseitige Informationen in Python?
- Was ist gegenseitige Informationsmatrix?
- Wie berechnen Sie gegenseitige Informationen?
- Wie interpretieren Sie gegenseitige Informationsbewertung?
Was sind gegenseitige Informationen in Python?
Gegenseitige Information (MI) [1] zwischen zwei Zufallsvariablen ist ein nicht negativer Wert, der die Abhängigkeit zwischen den Variablen misst. Es ist gleich Null, wenn und nur wenn zwei Zufallsvariablen unabhängig sind und höhere Werte eine höhere Abhängigkeit bedeuten.
Was ist gegenseitige Informationsmatrix?
Gegenseitige Information ist eine Metrik aus der Informationstheorie, die die nichtlinearen Zusammenhänge zwischen einem Paar zufälliger Variablen quantifiziert. Wenn sie auf mehr als ein Paar erweitert werden, kann eine gegenseitige Informationsmatrix konstruiert werden, ähnlich wie bei der Korrelationsmatrix.
Wie berechnen Sie gegenseitige Informationen?
Die gegenseitigen Informationen können auch als KL -Divergenz zwischen der gemeinsamen Wahrscheinlichkeitsverteilung und dem Produkt der Grenzwahrscheinlichkeiten für jede Variable berechnet werden. - Seite 57, Mustererkennung und maschinelles Lernen, 2006. Dies kann formal wie folgt angegeben werden: i (x; y) = kl (p (x, y) || p (x) * p (y))
Wie interpretieren Sie gegenseitige Informationsbewertung?
Die MI -Punktzahl fällt im Bereich von 0 bis ∞. Der höhere Wert, die engere Verbindung zwischen dieser Funktion und dem Ziel, was darauf hindeutet, dass wir diese Funktion in den Trainingsdatensatz einfügen sollten. Wenn die MI -Punktzahl 0 oder sehr niedrig ist wie 0.01. Die niedrige Punktzahl deutet auf eine schwache Verbindung zwischen diesem Merkmal und dem Ziel hin.
