Измерение информации

Измерение информации

Литвиненко Р.И.

СОШ 9 Таштагол

• Человек получает информацию, анализирует ее, выявляет существенные закономерности с помощью мышления, хранит полученную информацию в памяти. Процесс систематического научного познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и так далее). Таким образом, с точки зрения процесса познания информация может рассматриваться как знания .

Измерение информации

• Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию .

Количество информации как мера уменьшения неопределённости знаний

Знание

Знание

Если процесс познания рассматривать как расширяющийся круг знаний  чем шире круг знаний, тем больше граница соприкосновения с незнанием

• Подход к информации как мере уменьшения неопределенности знаний позволяет количественно измерять информацию

Измерение информации

• Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий — монета окажется в одном из двух положений: «орел» или «решка».

• После броска неопределённость знаний уменьшиться в 2 раза

Количество информации как мера уменьшения неопределённости знаний

• Количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту

Количество информации как мера уменьшения неопределённости знаний

• 1 бит - это количество информации, уменьшающее неопределённость знаний в 2 раза

Количество информации как мера уменьшения неопределённости знаний

• Если события равновероятны

N = 2 i

N – количество возможных событий

i – количество информации

Количество информации как мера уменьшения неопределённости знаний (события равновероятны)

Инструкция для решения задач:

• Являются ли события равновероятными?
• Что нужно найти в задаче: количество информации или количество возможных событий?
• Какую формулу нужно использовать в задаче?
• Чему равно N? Как найти i?

Количество информации как мера уменьшения неопределённости знаний (события равновероятны)

Задачи:

• В коробке 4 карандаша. Сколько информации несёт сообщение о том, что достали красный карандаш?

• В коробке 16 карандашей. Сколько информации несёт сообщение о том, что достали красный карандаш?

Количество информации как мера уменьшения неопределённости знаний (события равновероятны )

• Была получена телеграмма «Встречайте, вагон 8». Известно, что в составе 16 вагонов. Какое количество информации было получено?

• При угадывании целого числа в диапазоне от 1 до N было получено 9 бит информации. Чему равно N?

• В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил, что нужная книга находится на пятом стеллаже на третьей полке. Какое количество информации передал библиотекарь?

Алфавитный подход к измерению информации

Подход к измерению информации, не связанный с содержанием текста

используют при хранении и передачи информации с помощью технических устройств

• Алфавит
• Мощность алфавита
• Информационный вес символа
• Информационный объём текста

• Алфавит – это набор символов, используемых в тексте.
• Мощность алфавита N - полное число символов в алфавите

Если считать, что символы в тексте присутствуют с одинаковой вероятностью , то

N = 2 i

i – информационный объём одного символа

(информационный вес символа)

• Компьютерный алфавит содержит 256 символов  i=8 бит = 1байт

i = log 2 N

Информационный вес символа показывает сколько бит необходимо для кодирования одного символа

Информационный объём текста

• Складывается из информационных весов составляющих текст символов

I=k*i

Задача 1:

Как можно рассчитать информационный объём компьютерного текста :

Тысячи путей ведут к заблуждению, к истине – только один.

Решить задачи:

• Найти объём текста, записанного на языке, алфавит которого содержит 128 символов и 2000 символов в сообщении

• Информационный объём одного символа некоторого сообщения равен 6 битам. Сколько символов входит в алфавит?

• Информационное сообщение объёмом 4 Кбайта содержит 4096 символов. Сколько символов содержит алфавит?

Количество информации как мера уменьшения неопределённости знаний

• Если события неравновероятны

i – количество информации

p – вероятность события

k – величина, показывающая, сколько раз произошло интересующее нас событие

N – общее количество возможных событий

Количество информации как мера уменьшения неопределённости знаний (события неравновероятны)

Задача:

• В мешке находится 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несёт сообщение, что достали красный шар?

Количество информации как мера уменьшения неопределённости знаний (события неравновероятны)

• Найдём р – вероятность того, что достали красный шар

р = 5 / 20 = 0,25 = ¼

2. Найдём количество информации в сообщении о вытаскивании красного шара

i = log 2 (1/0,25) = log 2 (4) = 2(бита)

Количество информации как мера уменьшения неопределённости знаний (события неравновероятны )

• В корзинке лежат чёрные и белые шары. Среди них 18 чёрных шаров. Сообщение о том, что достали белый шар, несёт 2 бита информации. Сколько всего шаров в корзине?

За четверть ученик получил 100 оценок. Сообщение о том, что он получил «5» несёт 2 бита информации. Сколько «5» ученик получил за четверть?

• В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш несёт 4 бита информации. Сколько белых карандашей было в коробке?

• В ведёрке у рыбака караси и щуки. Щук в ведре три. Сообщение о том, что из ведра достали карася несёт 1 бит информации. Сколько всего рыб поймал рыбак?