Основы теории информации.
Необходимые сведения из теории вероятности.
Энтропия как мера неопределенности опыта.
Свойства энтропии и информации.
Эмпирическая энтропия и число сочетаний.
Побуквенное кодирование.
Префиксные коды и неравенство Крафта.
Префиксные коды натурального ряда.
Нумерация двоичных слов заданного веса.
Стоимость и избыточность кодирования. Теорема Шеннона.
Префиксные коды Шеннона, Гильберта-Мура, Шеннона-Фано.
Оптимальное кодирование, код Хаффмана.
Блочное и неблочное кодирование.
Стационарные источники. Энтропия стационарного источника.
Блочное кодирование и теорема кодирования Шеннона.
Неблочное кодирование, его энтропия и стоимость.
Кодирование Ходака.
Арифметическое кодирование.
Избыточность арифметического кодирования.
Универсальное кодирование.
Оптимальное универсальное кодирование.
Кодирование Бабкина-Фитингофа.
Интервальное кодирование.
Схема кодирования Лемпела-Зива.
Передача сообщений по каналам связи, допускающим ошибки.
Канал связи и его пропускная способность.