Tu sei qui

Informazione, trasmissione e codici a protezione d'errore

Informazione, trasmissione e codici a protezione d'errore
Corso di Laurea Triennale in Informatica F004

SCV0046
Docente: Claudio Gentile


CFU SSD LEZIONI ESERCITAZIONI ANNO LINGUA
6 INF/01 40 12 II Italiano


Obiettivi dell’insegnamento e risultati di apprendimento attesi
Il corso fornisce i rudimenti della teoria dell'informazione classica di Shannon (entropia, informazione mutua, compressione dell'informazione, trasmissione senza perdita di informazione), e i suoi legami con la teoria dei codici a protezione d'errore. La trattazione richiede l'introduzione di elementi di calcolo delle probabilità, ed e' sufficiente ad enfatizzare i (mirabili) legami che esistono fra le tre sottodiscipline sopra menzionate. In sintesi, gli obiettivi dell'insegnamento ed i risultati attesi di apprendimento sono i seguenti:

  • Acquisire conoscenze di base di calcolo delle probabilita' e dei modelli probabilistici discreti
  • Conoscere e comprendere i legami fra informazione e compressione
  • Conoscere e comprendere i legami fra informazione e trasmissione
  • Conoscere e comprendere i meccanismi che stanno alla base dei codici a protezione d'errore

Prerequisiti
Contenuti di base di algebra, geometria e analisi matematica. Capacita' di lettura/comprensione di libri di testo scritti in inglese.

Contenuti e programma del corso
Introduzione al calcolo delle probabilita' (20 ore + 6 ore esercitazioni):
Introduzione alla probabilita' e al calcolo combinatorio. Spazi campionari, eventi, funzioni di probabilita', probabilita' condizionate, indipendenza fra eventi. Esempi. Variabili aleatorie discrete, funzioni di densita' discrete, variabili bernoulliane, binomiali, geometriche. Valore atteso e varianza di una variabile aleatoria. Disuguaglianza di Chebychev. Distribuzioni congiunte, condizionate, marginali. Valori attesi e varianze di funzioni di variabiil aleatorie. Legge dei grandi numeri (debole).
Introduzione alla teoria dell'informazione e alla teoria dei codici (20 ore + 6 ore esercitazioni):
Incertezza ed Informazione associata ad eventi, additivita'. Sorgenti di informazione discrete senza memoria, entropia e proprieta'. Codifica di sorgente: codici univocamente decodificabili e non, instantanei e non. Disuguaglianze di Kraft e McMillan. Entropia e lunghezza media di un codice, codifica senza rumore, codifica compatta (Huffman). Informazione mutua e canali di trasmissione, entropia condizionata e congiunta, irrilevanza ed equivocazione. Capacita' di canale. Decodifica e probabilita' d'errore, minima distanza di Hamming. Scambio affidabilita'-ridondanza. Capacita' di canale come limite alla trasmissione affidabile (secondo teorema di Shannon e teorema inverso). Codici lineari a protezione d'errore: codifica, decodifica. Codici in forma sistematica. Codici allungati e accorciati. Codici di Hamming e di Reed-Muller.

Tipologia delle attività didattiche
Tutte le lezione vengono svolte in aula, le esercitazioni (12 ore su 52 complessive) prevedono lo svolgimento di esercizi che applicano i contenuti teorici sviluppati.

Testi e materiale didattico
Libri di testo:

  • Paolo Baldi, Calcolo delle probabilita', Mc Graw-Hill ( capp. 1 e 2);
  • Norman Abramson, Information theory and coding, Mc Graw-Hill (capp.1-6);
  • E. Angeleri, Informazione: Significato e universalita', Utet 2000 (Sez. 6.3).

Dispense fornite dal docente e disponibili sul sito di e-learning.

Modalità di verifica dell’apprendimento
L'esame consta di uno scritto ed un orale. Nell'esame scritto gli studenti sono chiamati a mostrare comprensione degli argomenti trattati nel corso, applicando i risultati teorici a semplici (e idealizzati) contesti pratici. L'esito dell'esame, in trentesimi, e' positivo (e consente l'accesso al successivo esame orale) se riporta una votazione almeno pari a 15/30. La prova orale consta di un colloquio la cui prima domanda e' sempre a scelta dello studente. Durante l'esame orale lo studente deve mostrare comprensione della modellazione probabilistica discreta legata all'informazione e alla codifica, e saper motivare i costrutti concettuali su cui si basa la teoria dell'informazione, e la teoria dei codici.
La prova complessiva e' superata con una votazione finale di almeno 18/30. Il voto dello scritto concorre in modo significativo alla determinazione del voto finale.

Orario di ricevimento
Su appuntamento.

Theme by Danetsoft and Danang Probo Sayekti inspired by Maksimer