20810545 - INFORMATION THEORY

Acquisizione dei fondamenti teorici della teoria dell'informazione e delle metodologie e delle tecnologie per la codificazione di sorgente di segnali mono e multimediali ai fini della riduzione di ridondanza sia senza perdita d'informazione che con perdita controllata. Acquisizione dei fondamenti teorici, delle metodologie e delle tecnologie per la protezione dell'informazione in presenza di errori, distorsioni e rumori introdotti dai sistemi di comunicazione numerici. Applicazione al caso di sistemi multimediali e multisensoriali.

Curriculum

scheda docente | materiale didattico

Programma

Elementi di teoria dell’informazione: entropia di una sorgente, entropia relativa. Entropia congiunta e entropia condizionata. Statistica sufficiente. Codifica di sorgente senza perdita di informazione: Codici ottimi. Limiti sulla lunghezza dssielle parole di codice per i codici ottimi. Diseguaglianza di Kraft per codici univocamente decodificabili. Codificatori di Huffman e di Shannon-Fano-Elias. Codifica di sorgente Universale. Codificatori aritmetici. Codificatore di Lempel-Ziv.
Equivocazione, tasso di informazione mutua, capacità di canale. Capcità dei canali binari simmetrici e dei canali limitati in banda affetti da rumore additivo gauano.
Teorema di Shannon sulla codifica di canale. Diseguaglianza di Fano. Teorema della separazione tra codifica di sorgente e la codifica di canale.
Codici lineari a blocco: definizione, matrice generatrice, controlli di parità, codici sistematici Rivelazione e correzione d’errore per codici lineari a blocco. Sindrome. Codice duale di un codice lineari a blocco. Decodificatore ottimo. Rivelazione e correzione d’errore per canali binari simmetrici. Schieramento standard. Prestazioni. Campi di Galois: definizioni e proprietà. Codici ciclici. Codici d Hamming. Codici di Reed-Solomon.
Codici convoluzionali: definizioni e proprietà. Decodifica a massima verosimiglianza: canali binari simmetrici e canali gaussiani Serie di Markov: definizioni e prorietà.
Algoritmo di Viterbi: principio, implementazione e prestazioni Algoritmo di Viterbi: prestazioni.
Turbocodici: definizioni e principio di funzionamento.
Codici concatenati. Codificatori convoluzionali ricorsivi sistematici. Interallacciatori per codici convoluzionali. Calcolo della probabilità a posteriori (AAP) per i turbocodici. Principio di funzionamento dei protocolli ARQ ibridi.
Decodificatori per turbo codici: algoritmo di decodifica.



Testi Adottati

Elements of information theory
Thomas M. Cover, Joy A. Thomas,
2. ed., 2006
John Wiley & Sons, Ltd.

Bibliografia Di Riferimento

A Mathematical Theory of Communication By C. E. SHANNON The Bell System Technical Journal, Vol. 27, pp. 379–423, 623–656, July, October, 1948.

Modalità Frequenza

La frequenza non è obbligatoria ma consigliata

Modalità Valutazione

Durante il corso sono previste prove in itinere atte a valutare la preparazione degli studenti. Sono previste due prove: a) la prima, scritta, atta a valutare la capacità di analisi dello studente b) la seconda, orale, atta a valutare la conoscenza teorica dello studente.

scheda docente | materiale didattico

Programma

Elementi di teoria dell’informazione: entropia di una sorgente, entropia relativa. Entropia congiunta e entropia condizionata. Statistica sufficiente. Codifica di sorgente senza perdita di informazione: Codici ottimi. Limiti sulla lunghezza dssielle parole di codice per i codici ottimi. Diseguaglianza di Kraft per codici univocamente decodificabili. Codificatori di Huffman e di Shannon-Fano-Elias. Codifica di sorgente Universale. Codificatori aritmetici. Codificatore di Lempel-Ziv.
Equivocazione, tasso di informazione mutua, capacità di canale. Capcità dei canali binari simmetrici e dei canali limitati in banda affetti da rumore additivo gauano.
Teorema di Shannon sulla codifica di canale. Diseguaglianza di Fano. Teorema della separazione tra codifica di sorgente e la codifica di canale.
Codici lineari a blocco: definizione, matrice generatrice, controlli di parità, codici sistematici Rivelazione e correzione d’errore per codici lineari a blocco. Sindrome. Codice duale di un codice lineari a blocco. Decodificatore ottimo. Rivelazione e correzione d’errore per canali binari simmetrici. Schieramento standard. Prestazioni. Campi di Galois: definizioni e proprietà. Codici ciclici. Codici d Hamming. Codici di Reed-Solomon.
Codici convoluzionali: definizioni e proprietà. Decodifica a massima verosimiglianza: canali binari simmetrici e canali gaussiani Serie di Markov: definizioni e prorietà.
Algoritmo di Viterbi: principio, implementazione e prestazioni Algoritmo di Viterbi: prestazioni.
Turbocodici: definizioni e principio di funzionamento.
Codici concatenati. Codificatori convoluzionali ricorsivi sistematici. Interallacciatori per codici convoluzionali. Calcolo della probabilità a posteriori (AAP) per i turbocodici. Principio di funzionamento dei protocolli ARQ ibridi.
Decodificatori per turbo codici: algoritmo di decodifica.



Testi Adottati

Elements of information theory
Thomas M. Cover, Joy A. Thomas,
2. ed., 2006
John Wiley & Sons, Ltd.

Bibliografia Di Riferimento

A Mathematical Theory of Communication By C. E. SHANNON The Bell System Technical Journal, Vol. 27, pp. 379–423, 623–656, July, October, 1948.

Modalità Frequenza

La frequenza non è obbligatoria ma consigliata

Modalità Valutazione

Durante il corso sono previste prove in itinere atte a valutare la preparazione degli studenti. Sono previste due prove: a) la prima, scritta, atta a valutare la capacità di analisi dello studente b) la seconda, orale, atta a valutare la conoscenza teorica dello studente.