Читать онлайн «Математические основы передачи информации»

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ Е. Г. Лебедько МАТЕМАТИЧЕСКИЕ ОСНОВЫ ПЕРЕДАЧИ ИНФОРМАЦИИ Учебное пособие Санкт-Петербург 2010  Лебедько Е. Г. Математические основы передачи информации, ч. 5: учеб. пособие для вузов. СПб: СПбГУИТМО, 2010. 93 с. В пятой части настоящего учебного пособия излагаются основы теории информации. Все теоретические положения иллюстрируются примерами. Учебное пособие предназначено для студентов, обучающихся по направлениям подготовки бакалавров и магистров 200200 «Оптотехника». Рекомендовано Учебно-методическим объединением вузов Российской Федерации по образованию в области приборостроения и оптотехники для студентов высших учебных заведений, обучающихся по направлению подготовки 200200 – Оптотехника и специальности 200203 – Оптико-электронные приборы и системы, протокол №430 от 12. 03. 10 В 2009 году Университет стал победителем многоэтапного конкурса, в результате которого определены 12 ведущих университетов России, которым присвоена категория «Национальный исследовательский университет». Министерством образования и науки Российской Федерации была утверждена Программа развития государственного образовательного учреждения высшего профессионального образования «Санкт- Петербургский государственный университет информационных технологий, механики и оптики» на 2009–2018 годы. © Санкт-Петербургский государственный университет информационных технологий, механики и оптики, 2010 © Е. Г. Лебедько, 2010  Содержание Часть 5. Основы теории информации………………………………………. 4 5. 1 Количественная мера информации…………………………………… 4 5. 1. 1 Количественная мера информации дискретных сообщений…………. 4 5. 1. 2 Основные свойства энтропии …………………………………………... 7 5. 1. 3 Энтропия при непрерывном состоянии элементов………………… 10 5. 1. 4 Определение плотности вероятностей состояний непрерывных сообщений, обладающих максимальной энтропией……... 11 5. 1. 5 Условная энтропия статистически зависимых сообщений……… 16 5. 1. 6. Энтропия объединения статистически зависимых сообщений…… 18 5. 1. 7. Количество информации при неполной достоверности результатов сообщения…………………………………………………… 22 5. 1. 8. Частное количество информации…………………………………… 27 5. 1. 9. Понятие об ε - энтропии…………………………………………… 33 5. 1. 10. Избыточность сообщений………………………………………… 34 5. 2. Передача информации………………………………………………… 35 5. 2. 1. Дискретные каналы без помех……………………………………… 35 5. 2. 2. Пропускная способность дискретного канала без помех………… 37 5. 2. 3. Основная теорема Шеннона для дискретного канала без помех… 43 5. 2. 4. Дискретные каналы с помехами………………………………………47 5. 2. 5. Пропускная способность канала с помехами……………………… 48 5. 2. 6. Основная теорема Шеннона для дискретного канала с помехами… 54 5. 2. 7. Непрерывные информационные каналы. Передача информации через линейные и нелинейные устройства…………………………………58 5. 2. 8.