В информатике количество информации, которое несёт один символ, можно рассчитать, используя понятие энтропии по Шеннону. Энтропия символа в данном контексте показывает, сколько бит информации необходимо для представления каждого символа из алфавита.
Если алфавит состоит из 100 различных символов, то для определения количества бит, необходимых для кодирования одного символа, можно использовать формулу:
[ H = \log_2(N) ]
где ( N ) — количество символов в алфавите, а ( \log_2 ) — логарифм по основанию 2.
Подставляя значение ( N = 100 ):
[ H = \log_2(100) \approx \log_2(10^2) = 2 \log_2(10) \approx 2 \times 3.32193 = 6.64386 ]
Таким образом, для кодирования одного символа из алфавита в 100 символов требуется примерно 6.64386 бит информации. В практике обычно округляют это значение до ближайшего целого, то есть до 7 бит на символ. Это означает, что каждый символ такого алфавита может быть закодирован уникальной комбинацией из 7 бит.