Entropia in fisica: significato e caratteristiche

ENTROPIA

Cos'è l'entropia? Cosa significa il termine entropia? Qual è la formula della variazione di entropia?

In questo approfondimento analizzeremo il fenomeno dell'entropia in fisica, con definizioni e formule.

ENTROPIA E TEORIA DELL'INFORMAZIONE

Percorso di approfondimento: Fisica, Informatica e Informazione : “L’entropia e l’informazione dei computer”.

Ambito: Fisica, informatica e teoria dei segnali.

Materie coinvolte:

• Informatica: informazione digitale e analogica, il bit e i sistema binario.
• Fisica: il concetto di entropia in termodinamica, ordine e disordine.

Punto di partenza dell’approfondimento: L’informazione è oggi una merce come il petrolio o un metallo, un servizio pubblico come l’acqua e l’elettricità. Politici, esperti di borsa e profani spesso si affermano che viviamo nell’ “epoca dell’informazione”. Anche se non tutti sanno che cosa sia in realtà l’epoca dell’informazione, è possibile osservare ovunque i suoi segni dai cellulari alle e-mail scambiate. La nostra società è considerata un villaggio gloabale in cui quasi ogni persona ha la possibilità di accedere (per esempio tramite internet) a tantissime informazione ed a scambiarle con gli altri. Dietro a tutto questo ci sono stati immensi sviluppi tecnologici che hanno permesso questa trasmissione di informazione. Ma che cosa è l’informazione ? Che cosa ne ostacola la sua trasmissione? Perché in queste nuove tecnologia appare così spesso la parola “digitale” (che altro non significa che l’informazione è rappresentata da simboli discreti come i numeri)? La risposta a molte di queste domande la si può trovare nelle scoperte e nelle ricerche fatte da Claude Shannon.

CLAUDE SHANNON, ENTROPIA

Claude Elwood Shannon nasce il 30 aprile del 1916 a Petoskey, nel Michigan. Da ragazzo lavorò come telegrafista per la Western Union. Shannon iniziò a studiare ingegneria elettronica e matematica all'università del Michigan nel 1932 ed ottenne il Bachelor's degree nel 1936. Frequentò l'università al Massachusetts Institute of Technology (MIT), dove collaborò all'analizzatore differenziale di Vannevar Bush, un calcolatore analogico. Nella sua tesi per il master al MIT dimostrò parecchi risultati che collegano l'algebra booleana alle reti logiche elettroniche (come per esempio, relè ed interruttori). Molti ritenogono che la sua tesi sia fra le più importanti e famose tesi del secolo. La sua tesi di dottorato, risalente al 1940, è intitolata "Un'algebra per la genetica teorica".

In seguito cominciò a lavorare ai laboratori Bell, per poi tornare al MIT negli anni '50. Nel 1948 Shannon pubblicò il suo lavoro, forse, più celebre: “Una teoria matematica della Comunicazione”. Questo lavoro si concentra sul problema di ricostruire con un certo grado di certezza le informazioni trasmesse da un mittente. In questo fondamentale lavoro Shannon utilizzò strumenti, quali l'analisi casuale e le grandi deviazioni, che in quegli anni stavano appena venendo sviluppati.

Shannon definì l'entropia dell'informazione come misura della ridondanza, gettando le basi per la teoria dell'informazione.
Il suo saggio più importante è il successivo, scritto con Warren Weaver, La teoria matematica della comunicazione, breve e sorprendentemente accessibile al non specialista.

Un altro articolo importate è “La teoria della comunicazione nei sistemi crittografici”, con cui Shannon praticamente fondò la teoria matematica della crittografia. Ebbe, inoltre, un ruolo importante nell'introduzione del teorema del campionamento, che studia la rappresentazione di un segnale continuo (analogico) mediante un insieme discreto di campioni a intervalli regolari (digitalizzazione). Shannon era conosciuto per la sua intelligenza vivacissima ed una personalità molto particolare;si sa che raramente utilizzava appunti o schizzi, e preferiva lavorare solamente con la testa. Fuori dei suoi interessi accademici, Shannon era giocoliere, monociclista e scacchista. Egli morì nel febbraio del 2001.

ENTROPIA: TERMODINAMICA

Entropia in fisica: In termodinamica l'entropia è una funzione di stato che si studia a seguito del secondo principio della termodinamica. Essa è una misura del disordine di un sistema fisico. In base a questa definizione possiamo dire che quando un sistema passa da uno stato ordinato ad uno disordinato la sua entropia aumenta. Nel Sistema Internazionale si misura in joule su kelvin (J/K).

L'entropia S come funzione di stato venne introdotta nel 1864 da Rudolf Clausius nell'ambito della termodinamica come DS=DQrev/T
dove ΔQrev è la quantità di calore assorbito in maniera reversibile dal sistema a temperatura T. In una delle sue diverse formulazioni, il secondo principio della termodinamica afferma che in un sistema isolato l'entropia può solo aumentare, o al limite rimanere costante per trasformazioni termodinamiche reversibili.

ENTROPIA, FORMULA FISICA

Dell’entropia esiste anche una definizione più vicina ad un approccio “statistico” delle possibili configurazioni. Intuitivamente si immagina che ad una certa condizione macroscopica di equilibrio del sistema corrispondano una moltitudine di configurazioni microscopiche. Tali configurazioni microscopiche occupano un volume nello spazio particolare (chiamato spazio delle fasi che viene indicato con Γ. Allora possiamo definire l'entropia "alla Boltzmann" come S=k lnG dove k è la costante di Boltzmann. E’ proprio questa relazione, come vedremo, quella che è analoga all’entropia introdotta da Shannon.

INFORMAZIONE ED ENTROPIA: SPIEGAZIONE

Nella teoria dell'informazione - e in rapporto alla teoria dei segnali - l'entropia misura la quantità di incertezza o informazione presente in un segnale aleatorio. Da un altro punto di vista l'entropia è la minima complessità descrittiva di una variabile casuale.
Si deve a Claude Shannon lo studio dell'entropia in tale contesto. Nel primo teorema di Shannon, o teorema di Shannon sulla codifica di sorgente, egli dimostrò che una sorgente casuale d'informazione non può essere rappresentata con un numero di bit inferiore alla sua entropia, cioè alla sua autoinformazione media. La relazione matematica che egli indicò fu la seguente:

S=-pLog(p)

dove con p si intende la probabilità. Tale risultato richiamò la definizione statistica dell'entropia. Come ricordò Shannon più tardi a proposito del risultato da lui trovato: “La mia più grande preoccupazione era come chiamarla. Pensavo di chiamarla informazione, ma la parola era fin troppo usata, così decisi di chiamarla incertezza. Quando discussi della cosa con John Von Neumann, lui ebbe un'idea migliore. Mi disse che avrei dovuto chiamarla entropia, per due motivi: "Innanzitutto, la tua funzione d'incertezza è già nota nella meccanica statistica con quel nome. In secondo luogo, e più significativamente, nessuno sa cosa sia con certezza l'entropia, così in una discussione sarai sempre in vantaggio".

E' possibile spiegare in parole semplici la correlazione tra Entropia e Informazione? L'entropia in termodinamica è una grandezza che si definisce a partire dal secondo principio della termodinamica. Essa rappresenta una grandezza che descrive l'irreversibilità dei processi e l'insorabile dispersione in calore delle altre forme di energia presenti all'interno di un sistema.
Per Shannon, l'informazione, nel senso della teoria dell'Informazione, è anch'essa una caratteristica dei sistemi, in particolare di quei sistemi che vengono usati per comunicare. L'informazione di un messagio non può mai aumentare oltre il valore che aveva al momento della trasmissione del messaggio. Essa può, invece, diminuire per colpa di svariati processi che conducono ad una perdita parziale o ad un deterioramento del messaggio (basta pensare ai disturbi nelle trasmissioni radio o nei cellulare). Fin qui la relazione fra le due grandezze può non essere evidente. Esse, anzi, appaiono come due grandezze che presentano un comportamento opposto (aumento per l'entropia, diminuzione per l'informazione). Ma l'analisi di queste due grandezze può essere più dettagliata. Se guardiamo un sistema fisico dal punto di vista microscopico possiamo descriverlo con una distribuzione di probabilità, che fornisca, per ogni costituente microscopico, la probabilità di osservarlo con una certa velocità in una certa posizione.

Boltzmann stabilì che c'era un collegamento matematico tra questa distribuzione di probabilità e l'entropia, particolare che l'entropia di un sistema è proporzionale al valore medio assunto dal logaritmo di questa distribuzione di probabilità cambiato di segno. Shannon introdusse una grandezza analoga per studiare l'informazione. Al livello più elementare ogni messaggio può essere espresso come sequenza di caratteri. A seconda del messaggio ogni carattere può essere previsto o meno, con diversi gradi di certezza a partire dai caratteri che precedono. Quanto più un carattere è prevedibile, tanto meno aggiunge informazione al messaggio globale, cioè è ridondante, potrebbe essere omesso e il messagio sarebbe compreso ugualmente. Se io trasmetto la sequenza "telefo" la persona che riceve saprà con certezza che la lettera che segue è "n", perchè non ci sono parole in italiano che iniziano con "telefo" e continuano con altre lettere, per cui trasmettere questa "n" è ridondante, ma dopo la "n" avrà un certo grado di incertezza su cosa segue, potrebbe essere "o", e avere quindi la parola "telefono", oppure una "a" se sto trasmettendo "telefonare" o altre voci di questo verbo, o anche altre lettere. Ha bisogno di sapere che lettera è per capire come comprendere il messaggio. 

Tuttavia ci sono alcune lettere che può escludere (qualunque consonante, per esempio) mentre le altre possono apparire con diverse probabilità, anche in funzione di altre parole che posso aver trasmesso prima. Questo ragionamento permette di attribuire una distribuzione di probabilità anche ai messaggio. Ogni carattere ha una probabilità di essere previsto in funzione dei caratteri che seguono.
Shannon introdusse una grandezza, chiamata entropia di informazione che è collegata a questa probabilità esattamente nello stesso modo in cui l'entropia termodinamica è collegata alla probabilità dello stato di un sistema.

Questa entropia di informazione gode di diverse proprietà simili a quella termodinamica, tra cui quella di non diminuire mai nel corso del tempo, perchè con il passare del tempo un messaggio può diventare meno chiaro a causa dei disturbi di trasmissione. I disturbi di trasmissione introducono caratteri che non possono essere previsti da quelli precedenti, per cui hanno una distribuzione di probabilità piatta, l'effetto tramite la formula di Boltzmann-Shannon è quello di aumentare l'entropia di informazione.
Il collegamento quindi è abbastanza immediato, in entrambi i casi l'entropia (termodinamica o di informazione) è una misura di quanto si sia degradato il contenuto utilizzabile del sistema, un contenuto energetico nel caso termodinamico, un contenuto di informazione nel caso di un messaggio. L'informazione gioca il ruolo dell'energia disponibile, che diminuisce con il passare del tempo.

RELAZIONE TRA ENTROPIA FISICA E INFORMATICA: ESEMPIO

Consideriamo un sistema fisico in date condizioni di temperatura, pressione e volume, e stabiliamone il valore dell'entropia; in connessione è possibile stabilire il grado di ordine e quindi l'ammontare delle nostre informazioni (in senso microscopico).
Supponiamo ora di abbassare la temperatura lasciando invariati gli altri parametri: osserviamo che la sua entropia diminuisce, ma anche che il suo grado di ordine aumenta, e con esso il nostro livello d'informazione. Al limite, alla temperatura zero, tutte le molecole sono ferme, l'entropia è zero e l'ordine è il massimo possibile, e con esso è massima l'informazione; infatti non esiste più alcuna alternativa fra cui scegliere.

Leggi anche:

• La fisica nell'arte: il rapporto tra arte e scienza
• Fisica e archeologia: carbonio 14 e metodi di datazione
• Fisica e filosofia: biografia ed esperimento di Oersted

UN AIUTO EXTRA PER IL TUO STUDIO

Dai uno sguardo a questi libri selezionati per te e scopri la fisica da un altro punto di vista:

Domande & Risposte
• Cosa significa entropia in informatica?

  Nella teoria dell'informazione - e in rapporto alla teoria dei segnali - l'entropia misura la quantità di incertezza o informazione presente in un segnale aleatorio. Da un altro punto di vista l'entropia è la minima complessità descrittiva di una variabile casuale.

• Cos'è l'entropia in fisica?

  In termodinamica l'entropia è una funzione di stato che si studia a seguito del secondo principio della termodinamica. Essa è una misura del disordine di un sistema fisico.

• Cosa dice il primo teorema di Shannon?

  Il primo teorema di Shannon dice che una sorgente casuale d'informazione non può essere rappresentata con un numero di bit inferiore alla sua entropia, cioè alla sua autoinformazione media.