Howtosignalprocessing
- Apa itu informasi timbal balik dalam python?
- Apa itu matriks informasi timbal balik?
- Bagaimana Anda menghitung informasi bersama?
- Bagaimana Anda menafsirkan skor informasi timbal balik?
Apa itu informasi timbal balik dalam python?
Informasi Saling (MI) [1] antara dua variabel acak adalah nilai non-negatif, yang mengukur ketergantungan antara variabel. Itu sama dengan nol jika dan hanya jika dua variabel acak independen, dan nilai yang lebih tinggi berarti ketergantungan yang lebih tinggi.
Apa itu matriks informasi timbal balik?
Informasi timbal balik adalah metrik dari teori informasi yang mengukur co-dependensi non-linear antara sepasang variabel acak. Saat diperluas ke lebih dari satu pasangan, matriks informasi timbal balik dapat dibangun, mirip dengan matriks korelasi.
Bagaimana Anda menghitung informasi bersama?
Informasi timbal balik juga dapat dihitung sebagai perbedaan KL antara distribusi probabilitas bersama dan produk probabilitas marginal untuk setiap variabel. - Halaman 57, Pengenalan Pola dan Pembelajaran Mesin, 2006. Ini dapat dinyatakan secara formal sebagai berikut: i (x; y) = kl (p (x, y) || p (x) * p (y))
Bagaimana Anda menafsirkan skor informasi timbal balik?
Skor MI akan jatuh dalam kisaran dari 0 hingga ∞. Nilai yang lebih tinggi, koneksi yang lebih dekat antara fitur ini dan target, yang menunjukkan bahwa kita harus menempatkan fitur ini dalam dataset pelatihan. Jika skor MI 0 atau sangat rendah seperti 0.01. Skor rendah menunjukkan hubungan yang lemah antara fitur ini dan target.
