Информационный анализ текста

МБОУ гимназия № 9

Творческая неделя «Я познаю мир»

Предмет: Информатика

Тема: Информационный анализ текста

Автор работы: Захарченко Вероника

8 Б класс

Учитель: Ледовская Галина Георгиевна,

учитель информатики

Невинномысск, 2016г.

СОДЕРЖАНИЕ:

Стр.

1. Введение 2

2. Числовая оценка текста 3

3. Выводы 6

4. Заключение 7

5. Список литературы 8

6. Приложения 9

Введение

Тема моей работы «Информационный анализ текста». Проблема особенностей стиля разных поэтов заинтересовала меня. Маяковский, Блок, Есенин… Вслушиваясь в строки их стихов сразу понимаешь чье поэтическое дарование создало замечательные шедевры. Но почему так происходит? Ученые-филологи ищут ответ на этот вопрос в стилистических особенностях поэтического или прозаического текста.

Цель моей работы: выяснить, чем отличается манера письма одного писателя от манеры письма другого писателя, используя числовые оценки поэтического текста.

Задача: попробовать решить эту проблему с помощью компьютерных технологий и математического анализа.

Актуальность. При информационном анализе тексту приписывается некоторая мера информативности, которая поддается измерению и может быть как первичной – характеризующей способность конкретного текста донести до читающего замысел, основное намерение его автора, так и вторичной – характеризующей способность конкретного тек­ста служить источником тех сведений, которые ищет в нем читатель.

Часто отождествляют понятия количества и объема информации. Поясним на примере их различие. Пусть имеется большой энциклопедический словарь в 1400 страниц и такого же объема книга, на каждом листе которой все строки заполнены вопросительными знаками. Объем словаря и книги одинаков – 1400 страниц текста. Поэтому для хранения словаря и книги требуется одинаковый объем памяти. Количество же информации в словаре и книге существенно различается. Всю информацию книги можно записать одной фразой: «1400 страниц с вопросительными знаками». Но даже эта фраза имеет сомнительную ценность и для многих людей не несет никакой полезной информации.

Числовая оценка текста

Известно, что впервые числовые оценки поэтического текста выполнялись известным русским математиком А.А Марковым в начале XX столетия. Сущность этих оценок сводилась к следующему: составлялся список всех слов романа А.С. Пушкина «Евгений Онегин», например, начинающихся на букву «а», затем исходя из этого списка, подсчитывалась вероятность появления каждой буквы русского алфавита на втором месте после буквы «а», далее – на третьем месте и т.д. По такой же схеме анализировались списки слов с другими начальными буквами.

Вероятностный процесс появления букв алфавита в определенных позициях слова Марков назвал случайным процессом, начинающимся с некоторого начального состояния. В указанном случае начальное состояние – это список слов на начальную букву «а».

В настоящее время в теории массового обслуживания такие случайные процессы стали называться цепями Маркова.

После исследований Маркова интерес к информационным измерениям текстов естественного языка возобновился только с установлением К. Шенноном следующей формулы для приближенного вычисления количественной меры информации:

, где через p_i обозначена вероятность или частота i-го события, а суммирование проводится по всем значениям p_i.

Величина Н измеряется в битах, и ее часто называют энтропией информации (Информацио́нная энтропи́я — мера неопределённости или неопределённость появления какого-либо символа первичного алфавита). Формулу стали применять при анализе кодов, используемых при передаче сообщений, составленных на каком-либо естественном языке.

Различают естественные и искусственные (формальные) языки и их алфавиты. Естественные языки развивались веками и служат для общения людей между собой. Формальные языки разрабатываются для специальных применений.

Количество и графическое изображение символов в алфавитах естественных языков определяется характерными особенностями языка, историей его развития, традициями.

В информатике и вычислительной технике широко используется алфавит, имеющий два знака, две альтернативы, например, 1 и 0, да и нет, истина и ложь, включено и выключено. Такой алфавит называют двоичным. В соответствии с этим введена и наименьшая единица информации – бит.

Информационные измерения устанавливают числовые характеристики естественного языка, которые имеют непосредственное отношение к проблеме передачи информации по различным линиям связи.

Процедуру такого расчета с использованием программ Microsoft Word и Microsoft Excel пакета Microsoft Office XP продемонстрируем на примере текста стихотворения Николая Рубцова «Березы»:

Русь моя, люблю твои березы!

С первых лет я с ними жил и рос.

Потому и набегают слезы

На глаза, отвыкшие от слез.

Для дальнейшей работы с текстом необходимо текст стихотворения расположить вертикально столбиком. Затем произвести автоматический выбор первых букв из всех слов текста. Теперь подсчитываю число слов, начинающихся на некоторую букву. В результате получится таблица 1.

Теперь строю график дискретной функции Р_i = Р_i(x_i), где х_i – порядковый номер буквы (Диаграмма 1).

Затем надо перестроить диаграмму 1 в порядке возрастания частоты появления букв. Сначала необходимо таблицу 1 пересортировать в порядке возрастания частоты появления букв. В результате получится таблица 2. затем строю диаграмму 2.

Теперь привожу гистограмму к виду нормальной кривой распределения. В результате получится таблица 3. затем строю график. Получившаяся гистограмма будет иметь вид нормальной кривой распределения (Диаграмма 3).

Таблица 1

Используя этот метод, мною были произведены расчеты над произведениями других авторов. Полученные результаты приведены в таблице и на диаграммах (Приложение).

Выводы

На основании проведенных мной исследований можно сделать следующие выводы:

1. Частота появления заданной буквы алфавита в достаточно длинных текстах одна и та же для разных текстов одного языка. 

2. Сравнительный анализ творчества различных поэтов, основывающийся только на количестве носимой информации не дает полной идентификации автора. Нужны дополнительные данные, учитывающие другие особенности языка автора: частота появления частей речи, членов предложения и других элементов языка.

3. Рассматривая график нормальной кривой распределения и клавиатуру, я заметила закономерность, наиболее часто используемые буквы располагаются в основном ряду клавиатуры, т. е. в центре клавиатуре.

Наименее часто используемые буквы располагаются во 2, 3 ряду клавиатуре.

Заключение

Рассматривая произведения различных авторов одной тематической направленности, но принадлежащих разной временной эпохе, можно судить о развитии языка изложения по количеству носимой информации, хотя, может быть, гениальность А.С. Пушкина, в какой-то мере, и состоит в его умении описания событий, используя минимальный набор слов.

Рассматривая произведения одного автора, но разные по тематике, можно судить о его предрасположенности к тем или иным темам изложения. Так, основываясь на количественных методах исследования, можно отнести С. Есенина к поэтам-лирикам (при написании стихотворений о природе он гораздо полнее использует возможности языка, чем при написании стихотворений городского цикла).

Литература:

1. Бубнов В.А., Карпушкин Н.А. Частотный анализ слов по начальной букве.

2. Есипов А.С. Информатика. СПб. 2001г.

3. http://www.newsociolog.ru. Информационный анализ текстов, потенциально содержащих искомые индикатумы.

4. http://ru.wikipedia.org Википедия.

Приложение

Таблица 1

Таблица 2

Таблица 3

Диаграмма 1

Диаграмма 2

Диаграмма 3

14