Entropia (ent)

L'entropia, in teoria dell'informazione, è una misura della incertezza associata a una variabile casuale. In termini più semplici, indica la quantità media di informazioni necessarie per descrivere il risultato di una variabile casuale. Più è alta l'entropia, più è difficile prevedere il risultato. Un'entropia bassa indica invece una maggiore prevedibilità.

In pratica, l'entropia è spesso usata per:

• Misurare la diversità: Ad esempio, l'entropia può essere utilizzata per quantificare la diversità delle parole in un testo.

• Valutare la compressione dei dati: L'entropia fornisce un limite inferiore teorico alla quantità di bit necessari per codificare un messaggio. Più bassa è l'entropia, più è comprimibile il dato.

• Analizzare sistemi complessi: L'entropia è un concetto chiave in termodinamica e fisica statistica, dove misura il disordine di un sistema.

Definizione Matematica:

L'entropia H(X) di una variabile casuale discreta X con possibili valori {x₁, x₂, ..., xₙ} e corrispondenti probabilità {p₁, p₂, ..., pₙ} è definita come:

H(X) = - Σ pᵢ * log₂ (pᵢ)

Dove:

• pᵢ è la probabilità dell'evento xᵢ.
• log₂ è il logaritmo in base 2.
• La somma è calcolata su tutti i possibili valori di xᵢ.

L'unità di misura dell'entropia è il "bit" (binary digit) quando si usa il logaritmo in base 2. Altri logaritmi (ad esempio il logaritmo naturale) portano ad altre unità di misura.

Concetti Correlati:

• Informazione reciproca: Misura la quantità di informazione che una variabile casuale contiene su un'altra variabile casuale.

• Entropia condizionata: Misura l'incertezza rimanente su una variabile casuale, dato che si conosce il valore di un'altra variabile casuale.

• Entropia di Shannon: Un altro nome per l'entropia, spesso usato in teoria dell'informazione.

Esempio:

Considera una moneta equa (testa/croce). La probabilità di ottenere testa è 0.5 e la probabilità di ottenere croce è 0.5. L'entropia di questa variabile casuale è:

H(X) = - (0.5 * log₂ (0.5) + 0.5 * log₂ (0.5)) = 1 bit

Questo significa che, in media, ci serve 1 bit di informazione per descrivere il risultato del lancio della moneta. Se la moneta fosse truccata (ad esempio, 90% testa e 10% croce), l'entropia sarebbe inferiore a 1 bit, indicando una maggiore prevedibilità.