Для определения количества информации, которое несет одна буква данного алфавита, необходимо воспользоваться формулой Шеннона:
I = -log2(P)
Где:
I - количество информации в битах,
P - вероятность появления данной буквы.
В данном случае, у нас алфавит из 8 символов, следовательно вероятность появления каждой буквы равна 1/8 = 0.125.
Подставляем эту вероятность в формулу:
I = -log2(0.125) = -log2(2^-3) = -(-3) = 3 бита.
Таким образом, одна буква данного алфавита несет 3 бита информации.