Selamat Pagi,

Hari ini pertama kali buka google ternyata tampilannya seperti ini

Ya ternyata tanggal 30 April adalah ulang tahunnya Pak Claude Shannon, seorang ilmuan asal Amerika yang mengembangkan konsep entropy yang menjadi dasar dari teori informasi. Saya harus mengucapkan selamat ulang tahun dan terima kasih kepada Pak Shannon ini karena dengan konsep yang dia usulkan sangat membantu para peneliti lain termasuk peneliti pemula seperti saya untuk menyelesaikan berbagai permasalahan :).

Entropy adalah ukuran dari ketidakpastian atau uncertainty dari informasi. Basis dari entropy ini sebenarnya adalah probabilitas nilai dari sebuah variabel acak, dimana entropy adalah total dari information content (I) dari semua event yang terjadi pada sebuah variabel acak. Secara matematis entropy dapat diekspresikan sebagai berikut:

Yep, entropy adalah negative dari total log basis 2 dari mass probability dari discrete random variable xi. Nilai total log dinegatifkan karena log basis dua dari dari probabilitas (Pr) akan menghasilkan nilai negatif (0<=Pr<=1) jadi harus dinegatifkan lagi supaya bernilai positif (ini serius…), hehehhe. Karena basis log nya 2 maka satuannya adalah bits.

Konsep entropy alias ketidakpastian atau uncertainty ini banyak digunakan dalam berbagai bidang seperti telekomunikasi untuk menghitung kualitas kanal komunikasi, kompresi data untuk menghitung apakah data hasil kompresi loss atau tidak, signal processing, feature selection, dll.

Ya itu sekilas tentang Pak Shannon, selamat ultah pak, hehehe…