Bagaimanakah entropi binari berbeza daripada entropi klasik, dan bagaimanakah ia dikira untuk pembolehubah rawak binari dengan dua hasil?
Entropi binari, juga dikenali sebagai entropi Shannon, ialah konsep dalam teori maklumat yang mengukur ketidakpastian atau rawak pembolehubah rawak binari dengan dua hasil. Ia berbeza daripada entropi klasik kerana ia digunakan secara khusus untuk pembolehubah binari, manakala entropi klasik boleh digunakan pada pembolehubah dengan sebarang bilangan hasil.
Untuk memahami entropi binari, kita mesti terlebih dahulu memahami konsep entropi itu sendiri. Entropi ialah ukuran purata jumlah maklumat atau ketidakpastian yang terkandung dalam pembolehubah rawak. Ia mengukur betapa tidak dapat diramalkan hasil pembolehubah rawak. Dalam erti kata lain, ia memberitahu kita berapa banyak "kejutan" yang boleh kita jangkakan apabila memerhatikan hasil pembolehubah rawak.
Dalam kes pembolehubah rawak perduaan dengan dua hasil, mari kita nyatakan hasil ini sebagai 0 dan 1. Entropi perduaan pembolehubah ini, dilambangkan sebagai H(X), dikira menggunakan formula:
H(X) = -p(0) * log2(p(0)) – p(1) * log2(p(1))
di mana p(0) dan p(1) ialah kebarangkalian memerhati hasil 0 dan 1, masing-masing. Logaritma dibawa ke asas 2 untuk memastikan nilai entropi yang terhasil diukur dalam bit.
Untuk mengira entropi binari, kita perlu menentukan kebarangkalian kedua-dua hasil. Jika kebarangkalian adalah sama, iaitu, p(0) = p(1) = 0.5, maka entropi binari dimaksimumkan, menunjukkan ketidakpastian maksimum. Ini kerana kedua-dua hasil berkemungkinan sama, dan kita tidak boleh meramalkan yang mana satu akan berlaku. Dalam kes ini, entropi binari ialah H(X) = -0.5 * log2(0.5) – 0.5 * log2(0.5) = 1 bit.
Sebaliknya, jika satu hasil lebih berkemungkinan daripada yang lain, entropi binari dikurangkan, menunjukkan kurang ketidakpastian. Contohnya, jika p(0) = 0.8 dan p(1) = 0.2, entropi binari ialah H(X) = -0.8 * log2(0.8) – 0.2 * log2(0.2) ≈ 0.72 bit. Ini bermakna, secara purata, kita memerlukan kurang daripada satu bit maklumat untuk mewakili hasil pembolehubah rawak binari ini.
Adalah penting untuk ambil perhatian bahawa entropi binari sentiasa bukan negatif, bermakna ia lebih besar daripada atau sama dengan sifar. Ia dimaksimumkan apabila kebarangkalian kedua-dua hasil adalah sama dan diminimumkan apabila satu hasil mempunyai kebarangkalian 1 dan satu lagi mempunyai kebarangkalian 0.
Entropi binari mengukur ketidakpastian atau rawak pembolehubah rawak binari dengan dua hasil. Ia dikira menggunakan formula -p(0) * log2(p(0)) – p(1) * log2(p(1)), di mana p(0) dan p(1) ialah kebarangkalian bagi kedua-dua hasil . Nilai entropi yang terhasil diukur dalam bit, dengan nilai yang lebih tinggi menunjukkan ketidakpastian yang lebih besar dan nilai yang lebih rendah menunjukkan kurang ketidakpastian.
Soalan dan jawapan terbaru lain mengenai Entropi klasik:
- Bagaimanakah pemahaman entropi menyumbang kepada reka bentuk dan penilaian algoritma kriptografi yang teguh dalam bidang keselamatan siber?
- Apakah nilai maksimum entropi, dan bila ia dicapai?
- Di bawah keadaan apakah entropi pembolehubah rawak lenyap, dan apakah ini membayangkan tentang pembolehubah itu?
- Apakah sifat matematik entropi, dan mengapa ia tidak negatif?
- Bagaimanakah entropi pembolehubah rawak berubah apabila kebarangkalian diagihkan sama rata antara hasil berbanding apabila ia berat sebelah terhadap satu hasil?
- Apakah hubungan antara jangkaan panjang perkataan kod dan entropi pembolehubah rawak dalam pengekodan panjang pembolehubah?
- Terangkan bagaimana konsep entropi klasik digunakan dalam skim pengekodan panjang berubah-ubah untuk pengekodan maklumat yang cekap.
- Apakah sifat entropi klasik dan bagaimana ia berkaitan dengan kebarangkalian hasil?
- Bagaimanakah entropi klasik mengukur ketidakpastian atau rawak dalam sistem tertentu?