Алфавитный подход к измерению количества информации
В вычислительной технике используют
алфавитный подход к измерению
количества информации.
N=2I , где
N -мощность
алфавита (полное количество символов)
I –
количество информации, Изучить теорию подробнее..
Алфавитный подход к измерению количества информации
Алфавитный подход
-это измерение количества
информации в тексте (символьном сообщении), составленном из символов некоторого
алфавита.
К содержанию
текста такая мера информации отношения не имеет.
Число символов в
алфавите называется мощностью алфавита.
Чем меньше
знаков в используемом алфавите, тем длиннее сообщение.
Так, например, в
алфавите азбуки Морзе всего три знака (точка, тире, пауза), поэтому для
кодирования каждой русской или латинской буквы нужно использовать несколько
знаков, и текст, закодированный по Морзе, будет намного длиннее, чем при
обычной записи.
Количество
символов в алфавите (мощность алфавита) находится по формуле N=2I,
где I – информационный вес одного символа (в битах).
Количество
символов в сообщении (тексте) определяется по формуле Т = К·I, где К - количество символов в
сообщении (тексте), I – информационный вес одного символа (в битах)
Какова минимальная мощность алфавита, с помощью которого можно
кодировать информацию?
Сообщение любой
длины, использующее односимвольный алфавит, содержит нулевую информацию.
Интуитивно
понятно, что сообщить что-либо с помощью единственного символа невозможно.( Представьте себе
толстую книгу в 1000 страниц, на всех страницах которой написаны одни единицы
(единственный символ используемого алфавита).
- Сколько
информации в ней содержится?
Ответ:
Нисколько, ноль.
Минимальная
мощность алфавита, пригодного для передачи информации,
равна 2.
Такой алфавит
называется двоичным алфавитом.
Информационный
вес символа в двоичном алфавите легко определить.
Поскольку
2i = 2,
то i = 1 бит
Итак, один
символ двоичного алфавита несет 1 бит информации.
1 бит
– исходная единица измерения информации.
Мощность
русского алфавита
Каждая буква
русского алфавита
(если считать,
что е = ё)
несет информацию
5 бит
(32 = 25).
Компьютерный
алфавит
Современный
компьютер может обрабатывать числовую, текстовую, графическую, звуковую и видео
информацию.
Все эти виды
информации в компьютере представлены в двоичном коде, т. е. используется
алфавит мощностью два (всего два символа 0 и 1).
Связано это с
тем, что удобно представлять информацию в виде последовательности электрических
импульсов: импульс отсутствует (0), импульс есть (1).
Такое кодирование
принято называть двоичным, а сами логические последовательности нулей и
единиц - машинным языком.
|