Измерение информации

На прошлых уроках мы узнали:

·     Алфавитом языка называется набор всех различных символов, которые используются для представления информации на этом языке.

·     Любой алфавит характеризуется своей мощностью, так называется количество символов, которые в него входят.

·     Мощность двоичного алфавита – всего два символа.

·     Двоичным кодированием называется запись информации с помощью символов двоичного алфавита, а двоичным кодом – код информации, получившийся в результате двоичного кодирования.

·     Двоичное кодирование универсально, это означает, что с помощью двоичного кода можно представить любую информацию.

·     На компьютере любая информация хранится в виде двоичных кодов.

Вопросы:

·     Алфавитный подход к измерению информации.

·     Информационный вес символа.

·     Информационный объём сообщения.

·     Единицы измеряется информации.

Как мы помним, информация для человека – это набор сигналов, которые человек получает из различных источников. Человек, каким-то образом их воспринимает и интерпретирует, придёт им какое-то значение. Однако разные люди могут интерпретировать сигналы по-разному. Так одно и то же сообщение, то есть один и тот же набор сигналов, может нести разным людям совершенно разную информацию. Как же тогда можно измерить информацию?

Всего существует два подхода к измерению информации. Первый подход – содержательный. Как ясно из названия, он оценивает содержание информации. А как же можно оценить содержание информации? Универсально оценить содержание любой информацию позволяют её свойства: объективность, достоверность полнота, актуальность, полезность и понятность. Однако, часть свойств информации субъективна, то есть для разных людей информация может быть по-разному полезна, понятна или актуальна. Потому измерение информации с помощью этого подхода часто тоже субъективно. Для того, чтобы объективно измерить информацию нельзя опираться на её содержание.

Измерить информацию независимо от её содержания позволяет алфавитный подход.  Рассмотрим его подробнее. Прежде чем что-нибудь выразить количественно, необходимо установить, для этого единицу измерения. Так расстояние измеряется в метрах, а время в секундах. А в чём же измеряется информация? В алфавитном подходе считается, что каждый символ алфавита, который использован для записи информации, имеет некоторый информационный вес. Это означает, что он несёт некоторое количество информации. Все символы одного и того же алфавита имеют одинаковый информационный вес. Информационный вес каждого из символов алфавита зависит от мощности этого алфавита. Минимальная единица измерения информации – это информационный вес одного символа двоичного алфавита. Эта величина получила название один бит.  Слово бит на английском языке (Bit) произошло как результат сокращения словосочетания «Binary digit», что в переводе на русский язык, означает «двоичный символ».

Почему же именно один бит был принят в качестве минимальной единицы измерения информации? Как мы помним из прошлого урока, любую информацию можно записать в виде её двоичного кода, то есть представить её как совокупность двоичных символов. В то же время меньшей информационной единицы, чем один бит просто не существует. Наверняка у вас возник вопрос, почему? Вспомним, чем является любой алфавит. Любой алфавит – это знаковая система. А какая знаковая система минимальна? Сколько символов она содержит? 2. Так как 1 символ, вне знаковой системы не может нести информацию. То есть двоичный алфавит – это минимальная знаковая система.

Раньше мы узнали, что алфавит любого языка, естественного или формального можно заменить двоичным алфавитом. Для этого всем символам алфавита можно присвоить уникальные двоичные коды одинаковой разрядности. Причём минимальная разрядность двоичного кода, необходимая, для кодирования одного символа алфавита, зависит от мощности кодируемого алфавита. Запишем выражение для этой зависимости. Мощность алфавита обозначим латинской буквой «М», а минимальную необходимую разрядность двоичного кода – буквой «i». Тогда M = 2ⁱ, или перемноженной последовательности из i двоек. При этом, если мощность алфавита нельзя получить простым перемножением двоек, то она увеличивается до числа, которое можно получить таким образом. Это делается потому, что иначе двоичный код с меньшей разрядностью не сможет уникальным образом закодировать все символы алфавита.

Информационным весом символа называется, количество информации, которое он несёт в рамках своего алфавита. Она равна минимальной разрядности двоичного кода, необходимой для равномерного кодирования алфавита этого символа. Информационный вес символа, как и любая информация измеряется в битах.

Задача: алфавит русского языка содержит:

·     тридцать три буквы,

·     десять арабских цифр,

·     одиннадцать знаков препинания,

·     и пробел.

Вычислить информационный вес одного символа из алфавита русского языка.

В начале нужно найти мощность русскоязычного алфавита M. Для этого посчитаем общее число всех символов: букв – 33, количество цифр – 10, количество знаков препинания – 11 и добавим ещё 1, то есть пробел. M = 33 + 10 + 11+ 1 = 55. Общая мощность русского алфавита равна 55 символам. Теперь найдём, какая разрядность двоичного кода потребуется, чтобы закодировать 1 символ алфавита мощностью 55 символов. Информационный вес символа будет равен этой разрядности. То есть M = 55 = 2ⁱ. Число 55 мы не можем получить простым перемножением двоек. Поэтому увеличим число до 64-х. Для того, чтобы получить 64, нужно перемножить 6 двоек или 2⁶. i = 6. Мы можем дать ответ: информационный вес одного символа русского алфавита – 6 бит.

Таким образом мы научились измерять информацию, которую несёт 1 символ алфавита. Однако в действительности информация передаётся целыми сообщениями, которые складываются из множества символов. Как же измерить такую информацию? Размер информации, которую несёт сообщение, называется его информационным объёмом. Он складывается из информационных весов всех символов, из которых состоит сообщение. Его можно рассчитать следующим образом… Обозначим информационный объём сообщения латинской буквой «V», а латинской буквой «L» - длину сообщения, в символах. Так V = i × L. То есть информационный объём равен произведению информационного веса одного символа и количества символов в сообщении.

Задача: сообщение содержит 296 бит информации. Его длина – 37 символов. Какова максимальная мощность алфавита, с помощью символов которого записано это сообщение?

Так как мы знаем информационный объём сообщения и его длину – мы можем найти информационный вес одного его символа. Информационный вес символа равен информационному объёму сообщения делённому на длину сообщения, i = V / L. 296 / 37 = 8 бит. Информационный вес одного символа нашего алфавита – восемь бит. Так как мы знаем информационный вес каждого символа алфавита, то есть разрядность двоичного кода символа такого алфавита, мы можем найти его максимальную мощность. Максимальная мощность равна двум в степени информационного веса символа. M = 2ⁱ = 2⁸ = 256. Мы можем дать ответ: максимальная мощность алфавита – 256 символов.

Итак, минимальная единица измерения информации один бит, и мы можем выразить с помощью этой величины любой объём информации, но всегда ли это удобно? Ведь текст на компьютере может содержать десятки и даже сотни тысяч символов, а звуки и изображения представляются миллиардами символов двоичного кода. Для удобства измерения такой информации были введены и более крупные единицы.

Первая из них – байт, рассмотрим, как же он появился и чему равен. В самом начале большая часть информации на компьютерах была текстовой. Для набора информации использовалось несколько алфавитов, или кодировок. Большинство из них содержало по 256 символов. Это означает что информационный вес одного символа в таком алфавите был 8 бит. Так же именно 8 бит информации могли одновременно обрабатывать процессоры того времени. Эта величина и была названа байтом.

Так же существуют и ещё более крупные единицы информации, например килобайты (Кб). Некоторые из вас могут подумать, что в 1 килобайте 1000 байт, так же как в 1 килограмме – 1000 грамм. Однако это не верно. Для более удобного измерения информации на компьютере 1 килобайт содержит не 1000, а 1024 байта. Почему именно 1024? Потому, что 1024 = 2¹⁰. Есть и ещё более крупные величины. Так один мегабайт (Мб) содержит 1024 Кб. Ещё десять лет назад информация, содержащаяся на компьютере, измерялась в гигабайтах. Один гигабайт (Гб) содержит 1024 Мб. Сейчас на одном домашнем компьютере могут храниться терабайты (Тб) информации, и в 1 Тб – сколько, как вы думаете? – Правильно: 1024 Гб.

Задача: на заводе работает автоматическая система учёта рабочего времени. По приходу на работу, и при уходе с работы сотрудник вставляет свою карту-пропуск в специальное устройство и оно заносит в память сообщение, которое состоит из 2 частей: уникального двоичного кода сотрудника и текущего времени. Найти минимальный информационный объём, который устройство внесло в память за день, если известно, что:

·     всего на заводе работает 714 сотрудников;

·     на работу вышло 698 сотрудников;

·     часть сообщения, которая содержит текущее время, имеет информационный объём 3 байта;

·     все уникальные двоичные коды сотрудников имеют одинаковую разрядность.

Итак, минимальный информационный объём – V_общ., который устройство занесло в память в течение дня можно найти, умножив информационный объём одного сообщения V_сообщ. на количество сообщений N_сообщ. Количество сообщений N_сообщ. равно количеству сотрудников N_сотр., которые вышли на работу в течение дня, умноженному на 2, так как на каждого сотрудника приходится 2 сообщения: одно – когда он приходит на работу, а второе – когда уходит. N_сообщ. = N_сотр. × 2 = 1396 сообщений за день.

Информационный объём одного сообщения состоит из информационного объёма уникального двоичного кода сотрудника V_кода и информационного объёма времени, который равен 3 байтам. Теперь нам нужно найти информационный объём уникального двоичного кода сотрудника. Мы можем представить всех сотрудников, которые работают на заводе, в качестве алфавита мощностью 714 символов. Нам остаётся найти информационный вес одного символа.

Как мы помним это можно сделать по формуле M=2ⁱ. Мы не можем получить 714 путём перемножения двоек, зато мы можем так получить число 1024. 1024 = 2¹⁰. Значит информационный объём V_кода = 10 бит. Теперь найдём информационный объём V_сообщ. он состоит из 10 бит уникального двоичного кода и 3 байт времени. Переведём 3 байта в биты, для этого умножим число 3 на 8. 3 × 8 = 24 бита и 10 бит кода. Информационный объём одного сообщения V_сообщ. = 24 + 10 = 34 бита. Теперь остаётся лишь найти информационный объём V_общ. Для этого информационный объём одного сообщения V_сообщ. умножим на количество сообщений N_сообщ. 34 × 1396 = 47 464 бита. Для удобства переведём в более крупные величины. 47 464 / 8 = 5933 байта, 5933 / 1024 = 5,8 Кб. Ответ: За день в память устройства поступило 5,8 Кб информации.

Важно запомнить:

·     Алфавитный подход позволяет измерить объём информации не зависимо от её содержания. При этом каждый символ несёт, некоторое количество информации, имеет информационный вес (i).

·     Минимальная единица измерения информации – 1 бит.

·     Мощность алфавита равна двум в степени, равной информационному весу символа (M = 2ⁱ).

·     Информационный объём сообщения равен произведению информационного веса одного символа и длины сообщения (V = i × L).

·     1 байт = 8 бит.

·     Байты, килобайты (Кб), мегабайты (Мб), гигабайты (Гб), терабайты (Тб) – единицы измерения информация. Каждая следующая больше предыдущей в 1024 раза.