и называется также числом сочетаний 3 элементов из 5, или 2 элементов из 5, или биноминальным коэффициентом (2,3). (Вы не знаете, что такое сочетания? К сожалению, это довольно большая тема, и сейчас ее отразить невозможно. Поищите в учебниках по математике в ВУЗах в разделе комбинаторики или посмотрите здесь, в статье "Кодовый замок как способ защитить подъезд", в главе "КОМБИНАТОРИКА". Только, боюсь, этого не хватит). Это число С3,2 =10 получается так: первый нолик можно поместить в любое из 5 мест, второй – в любое из 4. Всего получается 20 вариантов, но 10 из них для мест первого нолика, а 10 – для второго. А нам какая разница? А тогда вариантов 10. Было неизвестно 5 бит, потом стало неизвестно log 2(С3,2)= log 210=3.32 бит, Значит нам сообщили 5 - log 210=1.68 бит информации.
      А теперь обобщим задачу.
      «Перед нами n ящиков. В каждом из них либо белый, либо черный шар. Нам говорят, что 60% из них – белые. Сколько информации нам осталось узнать, т.е. чему равна мера незнания?»
      По аналогии с предыдущим случаем для n=100 получаем log 2(С60,40), для n=1000 - log 2(С600,400), в общем случае - log 2(С0.6n,0.4n).
      Теперь подробнее рассмотрим число Сm,n . По сути дела это способ разместить n единичек и m ноликов по n+m местам. Для вычисления общей формулы Сm,n лучше использовать формулу Сm,n = Сm-1,n + Сm,n-1 . Но как это считать? Есть такая штука – треугольник Паскаля. Каждое число в нем – это сумма двух стоящих над ним. Чтобы узнать, чему равно Сm,n , надо взглянуть на n+m строчку. На первом месте всегда 1 – это Сm+n,0 , число способов размещения n+m единичек по n+m местам.
Далее Сm+n-1,1 , число способов разместить n+m-1 единичек и 1 нолик в n+m местах (например, С4,1 = 5. Не верите – проверьте). И так далее до Сm,n.

     энтропией случайной величины с вероятностями {p, p-1} называется функция Нn(p) = -(p*log 2p + (1-p)* log 2(1-p)).
      Причем чем больше n, тем более схожи функции Нn(p) и функция энтропии Н(p). Выбирая большие n, мы можем их сделать сколь угодно мало отличающимися в каждой точке.


       Красным цветом обозначен график функции Н(р)

       Графики функции Нn(p) = log 2(Сp*n,(1-p)*n)/n:
       при n=7 - синий,
       при n=28 - зеленый.

      Последние слова об энтропии. Случайная величина с вероятностями p1, p2, p3, где p1+p2+p3=1 имеет энтропию Н({p1,p2,p3})= -(p1*log 2p1 + p2*log 2p2 + p3*log 2p3)=

  НО если человек, который отвечает, говорит неправду (врет). Если он врет всегда (т.е. является абсолютным вруном), то ничего страшного нет – надо лишь все его ответы воспринимать наоборот. Но такого вруна еще поискать надо! А обыкновенные вруны врут в n% случаях. Это и есть обобщенные вруны. Можно ли у такого вруна узнать правду? Да. А как?
      Для начала нам понадобится такая величина, как пропускная способность обобщенного вруна. Это то, сколько бит выданной этим вруном информации в среднем приходится на один вопрос.
      Итак, пусть у нас есть обобщенный 40% врун (т.е. он врет в 40% случаях). Зададим ему n элементарных вопросов. Мы знаем, что на 40% вопросов он соврал. Информация о том, на какие вопросы именно он соврал представляет собой n*Н(0.4) бит. Предположим, что мы задали вопросы так, что в полученных n ответах содержится нужная нам перевранная информация размером m бит и еще информация о том, в каких именно вопросах он соврал. То есть m+n*Н(0.4)=n или m=n-n*Н(0.4)=n*(1-Н(0.4)) и пропускная способность вруна равна V=m/n=1-H(p)
      А какой от этого прок?- спросит кто-нибудь. Хочется посоветовать этому человеку не задавать таких вопросов больше… Но все же прок есть – полученная формула означает, что, если умель задавать вопросы, то за n вопросов у р% вруна можно веведать n*V=n*(1-H(p)) бит.
      Ну и на закуску. На рисунках представлена геометрическая интерпретация пропускной способности – это отрезок АВ. В первом случае врун симметричный, т.е. он врет на ответах и «Да» и «Нет» с одинаковой вероятностью р. Второй случай – это несимметричный врун. Когда надо отвечать «Да», он врет с вероятностью a, когда «Нет» - с вероятностью b.