Для определения количества информации, содержащейся в сообщении о том, что достали клубок красной шерсти из корзины, можно использовать концепцию энтропии из теории информации. Энтропия измеряет неопределенность или количество информации в вероятностном событии.
Для начала, давайте определим вероятности событий:
Вероятность того, что клубок будет красным ):
Вероятность того, что клубок не будет красным ):
Количество информации , содержащееся в сообщении о том, что достали красный клубок, рассчитывается по формуле Шеннона для события с вероятностью :
Где — логарифм по основанию 2.
Подставим вероятность события:
Это означает, что сообщение о том, что достали клубок красной шерсти, несет 1 бит информации. Интуитивно это объясняет, что каждый выбор между двумя равновероятными альтернативами содержит 1 бит информации.