Количество информации, которое несет сообщение, можно измерить с помощью понятия энтропии из теории информации. Энтропия измеряет неопределенность или количество информации в сообщении. Она рассчитывается с использованием формулы Хартли-Шеннона:
[ I = -\log_2(p) ]
где ( I ) — это количество информации в битах, а ( p ) — вероятность события.
В данном случае у нас два возможных события:
- Достали белый шар.
- Достали красный шар.
Рассчитаем вероятности для каждого события:
Вероятность достать белый шар (( p{\text{белый}} )):
[ p{\text{белый}} = \frac{15}{20} = 0.75 ]
Вероятность достать красный шар (( p{\text{красный}} )):
[ p{\text{красный}} = \frac{5}{20} = 0.25 ]
Теперь используем формулу для расчета количества информации:
а) Количество информации, которое несет сообщение о том, что достали белый шар:
[ I_{\text{белый}} = -\log_2(0.75) \approx -\log_2\left(\frac{3}{4}\right) \approx 0.415 \text{ бит} ]
б) Количество информации, которое несет сообщение о том, что достали красный шар:
[ I_{\text{красный}} = -\log_2(0.25) = -\log_2\left(\frac{1}{4}\right) = 2 \text{ бита} ]
Таким образом, сообщение о том, что достали белый шар, несет приблизительно 0.415 бита информации, а сообщение о том, что достали красный шар, несет 2 бита информации. Это соответствует интуитивному ощущению: событие, которое случается реже, несет больше информации.