Содержательный и вероятностный подходы к измерению информации

Содержательный и вероятностный подходы к измерению информации

• Сообщение содержит информацию для человека, если заключённые в нём сведения являются для этого человека новыми и понятными и, следовательно, пополняют его знания.

Задача

• «Вы выходите на следующей остановке?» – спросили человека в автобусе. «Нет», - ответил он. Сколько информации содержит ответ?

N=2ˡ

• Сообщение, уменьшающее неопределённость знания человека в 2 раза, несёт для него 1 бит информации.

Задачи

• В барабане для розыгрыша лотереи содержится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 17)?
• В библиотеке 8 шкафов. Сколько информации содержится в сообщении, что книга нашлась в 4 шкафу?
• Сколько информации в сообщении, что Вася получил оценку 4 по 4-бальной системе?
• В корзине лежат 8 шаров разного цвета. Сколько информации несёт сообщение о том, что из корзины достали красный шар?

• В корзине лежат 24 белых и 8 красных шаров. Какое количество информации несёт сообщение о том, что достали красный шар?

I=log 2 (1 / p)

• I – количество информации
• Р – вероятность события

p=K / N

• K – величина, показывающая сколько раз произошло интересующее нас событие
• N – общее число возможных исходов какого-то процесса

Решение задачи

• К б = 24 штук
• К к = 8 штук
• N = 24+8 = 32 шт.

Вероятность выбора белого шара: р 1 =24/32=0,75

Вероятность выбора красного шара:

р 2 =8/32=0,25

• Вычислим количество информации, содержащееся в сообщении, что был выбран красный шар:

I = log 2 (1 /0,25 ) = log 2 4= 2 бита

Ответ: 2 бита.

• Вычислим количество информации, содержащееся в сообщении, что был выбран белый шар:

I = log 2 (1 /0,75 ) = log 2 1,3=1,15 бита

Чем меньше вероятность

некоторого события, тем больше информации содержит

сообщение об этом событии.

Сколько получим информации при выборе шара любого цвета?

Рассмотрим формулу Шеннона на нашем примере:

I = - (p 1 *log 2 p1+p 2 *log 2 p 2 ) =

- (0,75*log 2 0,75+0,25*log 2 0,25) =

- (0,75*(-0,42)+0,25*(-2)) = 0,815 бит

• В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несёт 4 бита информации. Сколько белых карандашей было в корзине?
• В классе 30 человек. За к/р по математике получено 15 пятёрок, 6 четвёрок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Андреев получил пятёрку?
• В ящике лежат перчатки (белые и чёрные). Среди них 2 пары чёрных. Сообщение о том, что из ящика достали пару чёрных перчаток, несёт 4 бита информации. Сколько пар белых перчаток было в ящике?