Entropi Shannon merupakan salah satu konsep penting dalam teori informasi yang digunakan untuk mengukur tingkat ketidakpastian dalam suatu sumber informasi konsep ini diperkenalkan oleh Claude Shannon melalui pengembangan teori informasi pada akhir 1940-an berbeda dengan pengertian entropi dalam termodinamika entropi Shannon berfokus pada informasi probabilitas dan ketidakpastian yang muncul dari suatu peristiwa dalam kehidupan digital hampir seluruh sistem menghasilkan informasi dalam bentuk diskret data tersebut dapat berupa karakter teks simbol kategori hasil pengukuran status sistem hingga keluaran dari suatu proses acak entropi shannon memberikan pendekatan matematis untuk mengetahui seberapa besar ketidakpastian yang terdapat di dalam distribusi data tersebut.

Pengertian Entropi Shannon

Secara sederhana entropi Shannon dapat dipahami sebagai ukuran mengenai seberapa sulit memprediksi hasil berikutnya berdasarkan distribusi probabilitas yang tersedia jika sebuah sumber informasi selalu menghasilkan satu simbol yang sama ketidakpastiannya sangat rendah. Sebaliknya jika sumber tersebut menghasilkan banyak simbol dengan probabilitas yang relatif seimbang ketidakpastiannya menjadi lebih tinggi misalnya terdapat sebuah sumber yang hanya menghasilkan dua simbol, yaitu A dan B jika A selalu muncul dan B tidak pernah muncul maka tidak ada ketidakpastian berarti namun jika A dan B masing-masing memiliki probabilitas 50% hasil berikutnya menjadi jauh lebih sulit diprediksi.

Informasi Diskret dalam Teori Informasi

Istilah informasi diskret merujuk pada informasi yang memiliki sejumlah kemungkinan keluaran yang dapat dibedakan contohnya adalah karakter alfabet angka simbol digital atau kategori tertentu dalam sistem komputer data pada akhirnya dapat direpresentasikan dalam bentuk diskret sistem digital bekerja dengan keadaan yang dapat dibedakan seperti bit 0 dan 1 karena itu teori informasi menjadi sangat relevan untuk memahami bagaimana informasi direpresentasikan dikirimkan dan dikompresi.

Peran Entropi dalam Kompresi Data

Salah satu penerapan paling penting dari entropi Shannon adalah kompresi data jika suatu sumber informasi memiliki distribusi simbol yang tidak merata terdapat peluang untuk menggunakan kode yang lebih pendek bagi simbol yang lebih sering muncul simbol yang jarang muncul dapat menggunakan kode yang lebih panjang konsep tersebut menjadi dasar bagi berbagai teknik pengkodean dalam teori informasi termasuk pendekatan seperti huffman coding dan arithmetic coding entropi memberikan batas teoritis terhadap rata-rata panjang kode dalam kompresi tanpa kehilangan informasi semakin rendah entropi suatu sumber semakin besar kemungkinan terdapat redundansi yang dapat dimanfaatkan untuk mengurangi ukuran data sebaliknya data dengan entropi tinggi cenderung lebih sulit dikompresi tanpa kehilangan informasi karena distribusinya sudah relatif merata.

Entropi dan Redundansi Informasi

Redundansi merupakan bagian informasi yang dapat diprediksi dari pola yang sudah tersedia bayangkan sebuah teks yang sangat sering menggunakan satu karakter tertentu karena karakter tersebut mempunyai frekuensi tinggi sistem kompresi dapat memberikan representasi yang lebih efisien entropi membantu menggambarkan batas minimum rata-rata informasi yang dibutuhkan untuk merepresentasikan sumber tersebut dengan kata lain semakin besar perbedaan antara struktur aktual data dan distribusi yang sepenuhnya acak semakin besar kemungkinan terdapat pola statistik yang dapat dimanfaatkan untuk efisiensi penyimpanan.

Entropi pada Data yang Lebih Kompleks

Dalam aplikasi nyata jumlah kemungkinan bisa jauh lebih besar daripada dua atau empat simbol sebuah sistem dapat memiliki puluhan ratusan bahkan jutaan kemungkinan keluaran prinsip perhitungannya tetap sama setiap kemungkinan diberi probabilitas kemudian kontribusinya terhadap entropi dihitung simbol dengan probabilitas tinggi memberikan kontribusi lebih kecil terhadap ketidakpastian dibandingkan simbol dengan probabilitas rendah tetapi keseluruhan kontribusi dari semua simbol harus diperhitungkan hal ini membuat entropi menjadi alat yang fleksibel untuk menganalisis berbagai jenis sumber informasi diskret.

Keterbatasan Entropi Shannon

Meskipun sangat berguna entropi Shannon juga mempunyai beberapa keterbatasan pertama entropi hanya memberikan ukuran agregat terhadap distribusi probabilitas. Nilai entropi tidak menjelaskan secara lengkap struktur hubungan antarhasil kedua entropi standar untuk satu variabel biasanya tidak memperhitungkan ketergantungan temporal kecuali modelnya diperluas dua sumber dapat memiliki entropi marginal yang sama tetapi mempunyai pola urutan yang sangat berbeda ketiga estimasi entropi dari data terbatas dapat mengalami bias jika jumlah sampel terlalu kecil dibandingkan jumlah kemungkinan simbol distribusi probabilitas yang diperoleh mungkin belum menggambarkan sumber sebenarnya karena itu penggunaan entropi dalam analisis data perlu mempertimbangkan kualitas sampel ukuran dataset dan asumsi statistik yang digunakan.

Kesimpulan

Entropi Shannon sebagai metode mengukur ketidakpastian melalui informasi diskret merupakan konsep fundamental dalam teori informasi dan memiliki penerapan luas di bidang teknologi statistik komunikasi kompresi data keamanan informasi serta pembelajaran mesin inti dari konsep ini adalah hubungan antara probabilitas informasi dan ketidakpastian distribusi yang lebih seimbang cenderung menghasilkan entropi lebih tinggi sedangkan distribusi yang didominasi oleh satu kemungkinan menghasilkan entropi lebih rendah dengan memahami entropi Shannon analisis data dapat dilakukan secara lebih objektif karena ketidakpastian dapat direpresentasikan menggunakan ukuran matematis namun entropi bukan alat untuk meramalkan satu hasil tertentu nilainya lebih tepat digunakan untuk memahami karakteristik keseluruhan distribusi informasi dan seberapa sulit suatu keluaran diprediksi secara rata-rata.