2 информация и энтропия. Меры количества и информации icon

2 информация и энтропия. Меры количества и информации



Название2 информация и энтропия. Меры количества и информации
Дата конвертации26.08.2012
Размер69.44 Kb.
ТипДокументы
1. /LK1_15/lecture2 rus.doc
2. /LK1_15/Лекция 1.doc
3. /LK1_15/Лекция 10 к.doc
4. /LK1_15/Лекция 3.doc
5. /LK1_15/Лекция 6.doc
6. /LK1_15/Лекция13.doc
7. /LK1_15/Лекция14.doc
8. /LK1_15/Лекция15a.doc
9. /LK1_15/Лекция5.doc
10. /LK1_15/Лекция8А.doc
11. /LK1_15/лекция 11.doc
12. /LK1_15/лекция 12.doc
13. /LK1_15/лекция 12w.doc
14. /LK1_15/лекция 4 .doc
15. /LK1_15/лекция15.doc
16. /LK1_15/лекция7.doc
17. /LK1_15/лекция9.doc
2 информация и энтропия. Меры количества и информации
1 предмет и задачи курса " прикладная теория цифровых автоматов"
10 элементарные автомматы с двумя и тремя входами
Требования к кодовому расстоянию контролирующих и корректирующих кодов 1 Кодирование информации и каналы передачи информации
6 способы задания сложных цифровых автоматов
13. 1 Синтез асинхронного эа на базе другого асинхронного эа
Решение задачи начнем с составления полной таблицы переходов базового ct- триггера, и затем составим его матрицу переходов
15а* Синтез узлов цвм методами птца
5 абстрактный цифровой автомат. Автоматы мили и мура
Алгоритмы перехода автомата мили к автомату мура и обратно 1 Алгоритм трансформации автомата Мура в автомат Мили
11 элементарные автоматы (триггеры) с инверсными входами
12. 1 Сравнение различных способов представления элементарных автоматов
12w составление матриц переходов электронных автоматов 12. 1 Синхронные триггеры
4*корректирующие и контролирующие коды
15 синтез регистров ЭВМ 15.
1 Синтез параллельных регистров и регистров сдвига

7 минимизация числа внутренних состояний цифровых автоматов 1 Алгоритм Ауфенкампа Хона
9 структурный синтез цифровых автоматов 1 Структурный синтез цифровых автоматов



Information and entropy. Quantity measure of information

2 ИНФОРМАЦИЯ И ЭНТРОПИЯ. МЕРЫ КОЛИЧЕСТВА И ИНФОРМАЦИИ

2.1 Информация и энтропия


Понятие информации является очень сложным и может быть едино только интуитивно . Под информацией понимается данные о чем-либо или о ком-либо общепринято , что что информация это новые сведения , содержащие в идеях и фактах и представленные в формальной форме . Информация представленная обычно в виде сообщений и передается через каналы связи. Рассмотрим обопщенную схему канала связи (рис.2.1)





Рис.2.1-Схема канала связи

Сообщение поступает от источника информации и передатчику. Передатчик преобразует их в сигналы, соответствующие типу канала. Под сигналом понимается изменяющееся физическая величина , отображающая сообщение . Сигнал – это материальный носитель сообщения . Сигнал с помощью передатчика передается через канал связи (окружающую среду ,способную их передавать ). Пара проводив(телефонный канал) , коаксиальный кабель (кабельный телевизионный канал или радио и телевизионный каналы) , луч света(оптический канал) являются примерами окружающий среды для передачи сигналов.

Сигнал подвергается действию помех и искажением в канале связи. В случае радиопередачи, помехи образуются грозовыми разрядами в атмосфере, промышленными помехами, искрением контактов и движущимися машинами. Некоторые типы помех создаются противником.

Сигнал в передатчике усиливается , модулируется и кодируется. В приемнике имеет место обратный процесс: сигнал декодируется, демодулируется и вновь усиливается. Будучи преобразованным в удобную форму сообщение поступает к получателю информации.

Любая физическая характеристика может использоваться как носитель сигнала. Такими характеристиками является амплитуда ,частота , фаза или длительность сигнала т.д.

Различают два типа сигналов : аналоговые или непрерывные, и дискретные. В случае аналогового сигнала физическая характеристика сигнала (например , амплитуда) изменяется в широком диапазоне и может принимать в любой момент времени любое значение из этого диапазона. В случае дискретного сигнала физическая характеристика может принимать только фиксированные значения.

Аналоговый сигнал более подвержен действию помех , чем дискретный, но системы связи, основанные на этом типе сигнала , обычно технологически более простые.

С другой стороны дискретные сигналы более просто обрабатывать и хранить, влияние помех на них не столь значительно. Более того, после искажения дискретный сигнал может быть восстановлен и скорректирован. По этой причине дискретные сигналы применяются более широк. Примером является успешное развитие цифрового радиовещания и телевидения. Преобразование аналогового сигнала в дискретный называется дисктретизацией или квантованием.

Р
ис 2.2 – Аналоговый сигнал

Различают дискретизацию по времени (рис.2.3) и дискретизацию по уровню (рис.2.4).



Р
ис 2.3. – Дискретизация по времени


Рис.2.4 – Дискретизация по уровню


Сигнал дискретизированный по времени и по уровню называется цифровым или полностью дискретизированным сигналом. Существует равномерное и неравномерное дискретизация (квантование) в зависимости от того, постоянен или не постоянен интервал дискретизации. Аналоговый сигнал может быть восстановлен из дискретного сигнала если правильно выбран интервал дискретизации. Согласно теоремы В.А.Котельникова непрерывная функция с ограниченным частотным спектром полностью определяется своими значениями, от считанными через интервалы времени T. Здесь T=0.5F, где F – ширина частотного спектра. Ширина спектра F=Fв-Fн, где Fв, Fн- соответственно верхняя и нижняя ширина спектра.

Функция U(t), измеряемая через интервал времени T, задает определенное множество значений , называемых первичным алгоритмом. Число символов вторичного алгритма (алфавита передачи, хранения и переработки информации) обычно меньше. Каждый символ первичного кодируется комбинацией символов вторичного алфавита. Такое кодирование выполняется в соответствии с правилами (алгоритмом) кодирования и реализуется специальной схемой называемой кодером .

Д
воичный структурный алфавит широко применяется в компьютерах. В случае двоичного структурного алфавита сиганлы представляются прямоугольными импльсами напряжения.


Рис 2.5. – Представление сигнала в десятичном структурном алфавите

Положительный импульс соответствует 1 (высокий уровень,1) отсутствие импульса соответствует нулю (низкий уровень,0). Пример сигнала, представленного в десятичном структурном алфавите приведен на рис 2.5.

2.2 Измерение количества информации. Комбинаторная мера Хартли и вероятностная мера Шеннона.


Пусть сообщение состоит из символов определенного алфавита. Обозначим количество символов алфавита через m. Если сообщение состоит из двух независимых и равно вероятных символов (букв), то число возможных сообщений N2=m2

В общем случае, если сообщение содержит n элементов (n – длинна сообщения), то число возможных сообщений находится как Nn=mn

Предыдущая формула не удобная для измерения количества информации. Во-первых, если имеется только одно сообщение во множестве сообщений, то информация должна быть равна нулю, но в данном случае это не так. Во-вторых , если имеется два независимых источника информации с множеством сообщений N1 и N2, то общее количество сообщений равно N=N1N2

Однако общее количество информации от двух источников должно быть равно не произведению, а сумме и это количество информации должно быть пропорционально числу символов сообщения. Все указанные противоречия разрешаются, если за количество информации принять логарифм числа возможных сообщений I=log N=log mn=n log m.

Формула предпологает, что появление различных символов независимо и равновероятно. На практике более часто встречается другая ситуация: один символ встречается более часто, чем другой. Например, гласные обычно следуют за согласными. Ряд символов идущих подряд не могут быть гласными в русском языке, отсутствует случай четырех гласных в конце слова (нарпимер, длинношеее). Количество информации уменьшается, если различные символы появляются в тексте с различной вероятностью. Для русского и английского текстов частоты появления различных букв (на 1000 символов приведены в табл.2.1).

Таблица 2.1

Английский

Русский

Буква

Частота

Буква

Частота

E

131

О

110

T

105

Е

87

A

86

А

75

O

80

И

75

N

71

Т

65

R

68

Н

65

I

63

С

55


Получим формулу для количества информации I когда нет зависимости между элементами сообщения

Пусть мы имеем алфавит, состоящий из m элементов h1,h2,…,hm.

Вероятности появления этих элементов соответственно равны p1,p2,…,pm.

Пусть сообщение состоит из n символов. Вероятность появления сообщения равна тогда

Вероятность появления символа
hi равна его частоте pi=ni/n. Пусть все сообщения равновероятны. Тогда







Как известно ni=pi*n.

Использовав формулу Хартли получим следующее выражение:

Эта формула получена Шенноном. В случае использования двоичных логарифмов количество информации измеряется в битах. В случае использования десятичных логарифмов информация измеряется в дитах, в случае натуральных логарифмтв – в нитах. Другими единицами информации являются 1 байт = 8 бит; 1 Кбит=210 бит; 1Мбит= 220 бит=210 Кбит;1Кбайт=210 байт; 1Мбайт=210 Кбайт= 220 байт.

Энтропия H(X) понимается как количество неопределенностей в источнике сообщения. Энтропия является объективной характеристикой источника информации. Если статистика сообщений известна, то энтропия может быть оценена теоретически. Информация I(X) является апостериорной характеристикой и характеризует количество информации полученной с сообщением. Энтропия H(X) является мерой неопределенности сообщения. По мере получения информации энтропия уменьшается. Формулы для количества информации энтропии одинаковы. Свидетельством этого является то, что количество информации после получения сообщения числено равно энтропии до передачи сообщения. Если должно быть принято сообщение длинной 2000 бит, то до передачи энтропия равна 2000 бит., а информация 0 бит, после передачи 400 бит информация равна 400 бит, а энтропия 1600 бит.

Философский закон единства и борьбы противоположности лежит в основе взаимозависимости энтропии и информации. Таким образом, энтропия должна рассматриваться как противоположность информации. Информация в свою очередь может рассматриваться как мера уменьшения энтропии.

Используется также понятие информации (или энтропии) на один символ.




I(X)/n = H(X)/n =


Энтропия достигает максимума в случае равновероятности сообщений. Если сообщения равновероятны, тогда p1(X1)=p2(X2)=p3(X3)=…pn(Xn)=1/n

В этом случае




H(X)/n=


Если m=2, тогда H(X)/n=0 для p(X1)=0 и p(X2)=1 или p(X1)=1 и p(X2)=0.

Максимум энтропии имеет место, когда p(X1)= p(X2)= 0.5:

При этом H(X)=-p(X1)log2P(X1) -p(X2)log2P(X2)= ½ + ½ =1 бит (рис.2.6).

Р
ис2.6 – График зависимости энтропии двоичного сообщения от вероятности сообщения

Таким образом, можно утверждать, сто двоичный бит представляет энтропию двух равновероятных независимых сообщений.



Похожие:

2 информация и энтропия. Меры количества и информации iconИнформация. Свойства информации. Единицы измерения количества информации
Практическое задание на поиск информации в глобальной компьютерной сети Интернет
2 информация и энтропия. Меры количества и информации iconДомашнее задание по теме: Вероятностный подход к определению количества информации
При угадывании целого числа в диапазоне от 1 до n было по­лучено 5 бит информации. Чему равно N?
2 информация и энтропия. Меры количества и информации iconИ снова об энтропии и эволюции
Таким образом, разные уровни системы могут иметь разную энтропию. Например, при хаосе внутри какой-то системы энтропия ее макроуровня...
2 информация и энтропия. Меры количества и информации iconРешение задач по теме: «Вероятностный подход к определению количества информации»
«Вы выходите на следующей остановке?» — спросили челове­ка в автобусе. «Нет», — ответил он. Сколько информации со­держит ответ?
2 информация и энтропия. Меры количества и информации iconРешение задач по теме: «Алфавитный подход к определению количества информации»
Алфавит племени Мульти состоит из 8 букв. Какое количест­во информации несет одна буква этого алфавита?
2 информация и энтропия. Меры количества и информации iconТренировочные задания государственной (итоговой) аттестации обучающихся, освоивших образовательные программы основного общего образования, по информатике и икт
Дискретная форма представления информации. Единицы измерения количества информации
2 информация и энтропия. Меры количества и информации iconУметь отвечать на вопросы: Выучить основные определения и формулы
Домашнее задание по теме «Вероятностный подход к определению количества информации»
2 информация и энтропия. Меры количества и информации icon№3Сколько килобайтов составляет сообщение, содержащее 12288 битов?
Домашнее задание по теме: «Решение задач на алфавитный подход к определению количества информации»
2 информация и энтропия. Меры количества и информации iconВиды информации информация

2 информация и энтропия. Меры количества и информации iconШкала информационного восприятия
Вопросы о том, что такое информация, и как происходит восприятие информации – это совсем разные вопросы. Здесь мы рассмотрим второй...
2 информация и энтропия. Меры количества и информации icon2. Используя ms word, выполните обработку текстового документа
Понятие информации. Виды информации. Роль информации и живой природе и в жизни людей. Язык как способ представления информации: естественные...
Разместите кнопку на своём сайте:
Документы


База данных защищена авторским правом ©podelise.ru 2000-2014
При копировании материала обязательно указание активной ссылки открытой для индексации.
обратиться к администрации
Документы

Разработка сайта — Веб студия Адаманов