Количество информации как мера уменьшения неопределённости icon

Количество информации как мера уменьшения неопределённости



НазваниеКоличество информации как мера уменьшения неопределённости
Дата конвертации15.07.2012
Размер51.59 Kb.
ТипДокументы

Количество информации как мера уменьшения неопределённости.


Информация – это знания человека. Отсюда следует вывод, что сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра – информативное сообщение, а сообщение о вчерашней погоде неинформативно: нам это уже известно.

Вы открыли и прочитали определение в учебнике:

Лемниската Бернулли есть геометрическое место точек, для которых произведение расстояний до концов данного отрезка F1F2=2c равно c2

Пополнил этот текст ваши знания? Нет!

Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет понятным, а значит, будет нести информацию для человека.

Сообщение несёт информацию для человека, если содержащиеся в нём сведения являются для него новыми и понятными.


Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица называется «бит». Её определение звучит так:

Сообщение, уменьшающее неопределённость знаний в два раза, несёт 1 бит информации.

Что такое «неопределённость знаний»?


Допустим, вы бросаете монету, загадывая, что выпадет: орёл или решка? Есть всего два варианта возможного результата бросания монеты. Причём, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.

Так вот, в этом случае перед подбрасыванием монеты неопределённость знаний о результате равна двум. Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределённость знаний о результате бросания кубика равна шести.

Неопределённость знаний о некотором событии – это количество возможных результатов события (бросания монеты, кубика).

После того как вы бросили монету, произошло одно из двух возможных событий. Неопределённость знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.

Сообщение о том, что произошло одно событие из двух равновероятных, несёт 1 бит информации.

Студент на экзамене может получить одну из четырёх оценок: «5», «4», «3», «2» с равной вероятностью. На ваш вопрос: «Ну, что получил?» -- ответил: «Четвёрку!». Вопрос: Сколько бит информации содержится в его ответе?

Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет».

Вопросы будем ставить так, чтобы каждый уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

1). Оценка выше тройки? – Да.

После этого ответа число вариантов уменьшилось в два раза. Остались 4 и 5. Получен 1 бит информации.

2). Ты получил пятёрку? – Нет.


Выбран один вариант из двух оставшихся: оценка – «4». Получен ещё 1 бит информации. В сумме имеем 2 бита.

Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления.

Решите задачу: в книжном стеллаже 8 полок. Книга может быть поставлена на любую из них. Сколько бит информации содержит сообщение о том, где находится книга?

1). Книга лежит выше 4 полки? Нет

2). Книга лежит ниже 3 полки? Да

3). Книга – на второй полке? Нет 1

Каждый ответ уменьшал неопределённость в два раза. Всего 3 вопроса  3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.


Выведем формулу, по которой вычисляется количество информации, содержащееся в сообщении о том, что произошло одно из множества равновероятных событий.

Обозначим буквой N количество возможных событий или, как мы это ещё называли, -- неопределённость знаний. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий.

Монеты N=2, i=1 21=2

Оценки N=4,i=2 22=4

Книги N=8,i=3 2i=N 23=8


Количество информации i, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения:

2i=N.


В математике существует функция, с помощью которой решается показательное уравнение. Эта функция называется логарифмом, и решение нашего уравнения записывается следующим образом: i=log2N.


Например, вычислим количество информации в сообщении о том, что из колоды карт случайным образом достали даму пик (в колоде 36 карт) i=log236=5,16993 бит.

Для определения количества информации, содержащийся в сообщении о том, что произошло одно из N равновероятных событий, используется формула i=log2N.

Эта формула была получена американским инженером Ричардом Хартли в 1928 году и поэтому известна под названием формулы Хартли.


До сих пор речь шла о равновероятных событиях. Но в реальности очень часто это предположение не выполняется. Для того, чтобы разобраться что такое вероятность рассмотрим школьные оценки, чтобы определить, какова вероятность получения каждой оценки, нужно посчитать общее количество разных оценок, полученных учеником за достаточно большой период времени, и определить, сколько из них двоек, троек, четвёрок и пятёрок. Если допустить, что такое же распределение оценок сохранится и в будущем, то можно рассчитать вероятности получения каждой из оценок. Определив, какую часть составляют двойки, найдём вероятность получения двойки. Затем, определив, какую часть составляют тройки, найдём вероятность получения тройки. Доля четвёрок среди всех оценок – это вероятность получения четвёрки, а доля пятёрок – это вероятность получения пятёрки.

Предположим, мы посчитали, что за два года ученик получил 100 оценок. Среди них:

60 – «5» вероятность пятёрки P5=60/100=0,6 60%

25 – «4» P4=25/100=0,25 25%

10 – «3» P3=10/100=0,1 10%

5 – «2» P2=5/100=0,05 5%

Обозначение:

N – это общее число возможных исходов какого-то процесса (кол-во всех шаров)

n – из них интересующее нас событие (кол-во белых шаров)

p=n/N

Теперь, зная вероятности событий, можно определить количество информации в сообщении о каждом из них. Согласно теории информации, для этого нужно решить показательное уравнение 2i=1/p i=log21/p

I «5»=log2(1/0,6)=log2(5/3)=0,737 бит

I «4»=log2(1/0,25)=log2(4)=2 бита

I «3»=log2(1/0,1)=log2(10)=3,322 бита

I «2»=log2(1/0,05)=log2(20)=4,322 бита


Чем меньше вероятность события, тем больше информации несёт сообщение о нём.

Количество информации в сообщении о некотором событии зависит от вероятности этого события. Чем меньше вероятность, тем больше информации.


На первый взгляд, кажется, что мы имеем две совсем разные формулы для вычисления информации. Первая – через количество событий, вторая – через вероятность:

1) i=log2N 2) i=log2(1/p)


На самом деле это не разные формулы! Первая формула является частным случаем второй, когда вероятность событий одинакова.

Представьте себе, что у нашего ученика было бы всех оценок поровну: пятёрок, четвёрок, троек, двоек – по 25 штук. Тогда вероятность каждой оценки равна 25/100=1/4. Значит, и количество информации будет одинаковым.

i5=i4=i3=i2=log2(1/0,25)log24=2 бита.

Но это та же задача о четырёх равновероятных оценках, которую мы решали раньше! И там тоже 4 бита.




Похожие:

Количество информации как мера уменьшения неопределённости iconОпределение I
Количество материи {масса есть мера таковой, устанавливаемая пропорционально плотности и объему ее
Количество информации как мера уменьшения неопределённости icon2. Используя ms word, выполните обработку текстового документа
Понятие информации. Виды информации. Роль информации и живой природе и в жизни людей. Язык как способ представления информации: естественные...
Количество информации как мера уменьшения неопределённости iconБилет 1 Понятие информации. Виды информации. Роль информации и живой природе и в жизни людей. Язык как способ представления информации: естественные и формальные языки.
Понятие информации. Виды информации. Роль информации и живой природе и в жизни людей. Язык как способ представления информации: естественные...
Количество информации как мера уменьшения неопределённости icon1. Понятие информации. Виды информации. Роль информации в живой природе и в жизни людей. Язык как способ представления информации: естественные и формальные языки
Понятие информации. Виды информации. Роль информации в живой природе и в жизни людей. Язык как способ представления информации: естественные...
Количество информации как мера уменьшения неопределённости icon1. Понятие информации. Виды информации. Роль информации в живой природе и в жизни людей. Язык как способ представления информации: естественные и формальные языки
Понятие информации. Виды информации. Роль информации в живой природе и в жизни людей. Язык как способ представления информации: естественные...
Количество информации как мера уменьшения неопределённости iconСписок экзаменационных вопросов по курсу «Системы экологического мониторинга»
Принцип априорной информационной неопределенности Реймерса в отношении объектов природопользования, экологических и антропотехнических...
Количество информации как мера уменьшения неопределённости iconАлфавитный подход к измерению информации
Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте. Алфавитный подход является...
Количество информации как мера уменьшения неопределённости iconКлассный час «Как ты растешь?» Как по-вашему, когда человек быстрее всего растет? Почему в это время нужно особенно бережно относиться к себе и своему здоровью?
Ты сможешь узнать, как работает твое сердце. Спокойно посиди 5-10 минут и после этого посчитай количество ударов сердца (пульс) в...
Количество информации как мера уменьшения неопределённости iconШкала информационного восприятия
Вопросы о том, что такое информация, и как происходит восприятие информации – это совсем разные вопросы. Здесь мы рассмотрим второй...
Количество информации как мера уменьшения неопределённости iconПрограмма по курсу: «Обработка нечисловой информации» Специальность: 511620 Системная интеграция и менеджмент
Денотат и референт. Виды знаков. Семиотические системы. Синтактика, семантика и прагматика. Знак как унитарный носитель информации...
Разместите кнопку на своём сайте:
Документы


База данных защищена авторским правом ©podelise.ru 2000-2014
При копировании материала обязательно указание активной ссылки открытой для индексации.
обратиться к администрации
Документы

Разработка сайта — Веб студия Адаманов