• 2013 Июнь

Вероятностный подход к измерению количества информации.

Можно ли измерить количество информации?

Существуют 2 подхода.

1        Алфавитный подход к измерению количества информации

2 подход . Содержательный  или вероятностный подход

Сообщение является информативным, если оно пополняет нас знаниями или уменьшает неопределенность наших знаний.

Пример1: Мы бросаем монету  и пытаемся угадать. Какой стороной она упадет. Возможен один результат из двух, перед броском существует неопределенность знаний. После броска наступает полная неопределенность знаний. Так как из двух равновероятных событий произошло одно, то неопределенность наших знаний уменьшилось в 2 раза.

Пример2: вытягивание билета на экзамене.

Количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту.

1 бит – это количество информации,  уменьшающее неопределенность наших знаний в  2 раза.

Существует формула, которая связывает между собой количество возможных событий и количество информации.

N=2^I , где   N  -количество возможных вариантов.

 I – количество информации,

Если из этой формулы выразить количество информации, то получится I=log₂N

Примеры решения задач

1. «Вы выходите на следующей остановке?»- спросили человека в автобусе. «Нет», - ответил он. Сколько информации содержит ответ.

Решение: Человек мог ответить  только «Да» и «Нет», т.е выбрать один ответ из нескольких возможных, поэтому N=2, значит

2=2^I, откуда I=1

Ответ: 1 бит.

2. В библиотеке 8 шкафов. Книга нашлась в 3-м шкафу; (Отв.: 3 бит, так как 2³=8.)
3. Вася получил за экзамен оценку 4 (по 5-бальной системе единицы не ставят). (Отв.: 2 бит, так как 2²=4.)

16 задач с решением на тему "Вероятностный подход к определению количества информации)

Случай, при котором события неравновероятны (для уч-ся 10-11 профильных классов)

Для вычисления количества информации в сообщении о неравновероятном событии используют следующую формулу: I=log₂(1/p) (формула Шеннона)

где I – это количество информации, р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N,

где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Задача

Бабушка испекла 8 пирожков с капустой, 16 пирожков с повидлом. Маша съела один пирожок. Какое количество информации несет сообщение о том а) Маша съела пирожок с капустой

 Мы сталкиваемся с ситуацией, когда события неравновероятны. 

 Вероятность выбора пирожка с капустой: р=8/32=1/4=0,25.

Вычислим количество информации, содержащееся в сообщении, если был выбран пирожок с капустой: I2=log₂(1/p)= log₂(1/0,25)= log₂4=2 бит.

При сравнении результатов вычислений получается следующая ситуация: вероятность выбора пирожка с повидлом больше, чем с капустой, а информации при этом получилось меньше. Это не случайность, а закономерность.

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.