Читать онлайн «Сборник примеров и задач по основам теории информации и кодирования сообщений»

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ САНКТ-ПЕТЕРБУРГСКИЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ Зверева Е. Н. , Лебедько Е. Г. СБОРНИК ПРИМЕРОВ И ЗАДАЧ ПО ОСНОВАМ ТЕОРИИ ИНФОРМАЦИИ И КОДИРОВАНИЯ СООБЩЕНИЙ Методические указания Санкт-Петербург 2014  Зверева Е. Н. , Лебедько Е. Г. Сборник примеров и задач по основам теории информации и кодирования сообщений. – СПб: НИУ ИТМО, 2014. – 76 с. В методических указаниях содержатся краткие теоретические сведения по разделам курса «Теория информации» и «Кодирование информации». В конце каждого параграфа приводится разбор решений типовых задач, предлагаются задачи для самостоятельной работы, и контрольные вопросы. Рекомендовано к печати Ученым советом факультета оптико- информационных систем и технологий 14 января 2014г (протокол №1). Настоящие методические указания представляют собой руководство для проведения практических занятий по курсу «Основы теории информации, кодирования и модуляции». Методические указания предназначены для студентов очной формы обучения по направлению подготовки 200400 и 200401 «Оптотехника», по профилю 200200. 62 «Оптико-электронные приборы и системы». В 2009 году Университет стал победителем многоэтапного конкурса, в результате которого определены 12 ведущих университетов России, которым присвоена категория «Национальный исследовательский университет». Министерством образования и науки Российской Федерации была утверждена программа его развития на 2009–2018 годы. В 2011 году Университет получил наименование «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики» Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, 2014 Зверева Е. Н. , Лебедько Е. Г. , 2014  Содержание Раздел 1. Основы теории информации... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 4 1. 1 Элементы теории вероятностей в задачах теории информации... ... ... ... ... . 4 Задачи для самостоятельного решения ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 15 Контрольные вопросы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 16 1. 2 Информационная мера Шеннона... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 17 Задачи для самостоятельного решения ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 21 Контрольные вопросы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 22 1. 3 Условная энтропия и взаимная информация ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 22 Задачи для самостоятельного решения ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 31 Контрольные вопросы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 32 1. 4 Передача информации по каналу связи ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 32 Задачи для самостоятельного решения ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 39 Контрольные вопросы ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 41 Раздел 2.