Esta obra visa fornecer aos estudantes do segundo ciclo de universidades ou escolas de engenharia as noções essenciais de teoria da informação, para aplicações na codificação de fonte e de canal. Os estudantes aos quais a obra se destina devem possuir as bases da teoria das probabilidades (variáveis aleatórias), disciplina sobre a qual se apoia a teoria da informação. Poucos livros consagrados totalmente ou em grande parte à teoria da informação têm sido publicados em língua francesa, apesar da importância desse assunto para o ensino em universidades e escolas de engenharia. Há duas exceções notáveis: o terceiro volume de Introduction à la théorie de la communication, de Élie Roubine, publicado em 1970, e a monografia de Gérard Battail, Théorie de l’information: Application aux techniques de communication, publicada em 1997. Parece que a presente obra é provavelmente a única referência em francês que trata da teoria da informação a este nível de detalhe, desde a apresentação das ferramentas básicas da teoria (entropia, informação mútua) até a demonstração dos teoremas de Shannon (para a codificação de fonte e de canal). Diversas referências em inglês (ver a bibliografia no final desta obra) têm sido fontes de inspiração, entre elas o excelente The Theory of Information and Coding, de Robert J. McElice e o indiscutível Elements of Information Theory, de Thomas M. Cover e Joy A. Thomas. Algumas partes da presente obra resultam igualmente de trabalhos pessoais do autor, principalmente sobre o estabelecimento de uma ligação com informação de Fisher e sobre uma prova original da desigualdade da variância entrópica. Esta obra nasceu de cursos dados pelo autor na Escola Nacional Superior de Telecomunicações (ENST), na Escola Nacional Superior de Técnicas Avançadas (Ensta), na Universidade Pierre e Marie Curie (Paris VI) e na Universidade de Paris-Sud XI. Sua redação evoluiu regularmente por mais de dez anos. 9 10 Teoria da informação e da codificação Eu gostaria de agradecer aqui a todas as pessoas, colegas e amigos que, de uma maneira ou de outra, tornaram possível a organização dos cursos dos quais este livro provém, ajudaram na sua elaboração, ou me encorajaram a publicá-lo; agradeço em particular à Gerard Battail, Jean-Claude Bic, Maurice Charbit, Gérard Cohen, Pierre Duhamel, Philippe Gallion, Georges Rodriguez-Guisantes e Bruno Thedrez. Boa leitura!