(mat.)
w teorii informacji: każdemu rozkładowi prawdopodobieństwa odpowiada jego e. równa średniej wartości (z przeciwnym znakiem) logarytmu funkcji rozkładu. E. jest tym większa, im bardziej rozmyty jest rozkład prawdopodobieństwa. Gdy e. jest równa zeru, oznacza to, że układ zdarzeń daje rezultat całkowicie określony, przewidywany z całą pewnością. Ujemny przyrost e. jest miarą informacji uzyskanej o danej zmiennej losowej.