Скачать

Теория вероятности и математическая статистика

Киевский политехнический институт

Кафедра КСОИУ

Конспект лекций

по дисциплине:

”Теоpия веpоятности и математическая статистика”

Преподаватель: Студент II курса

ФИВТ, гр. ИС-41

проф. Павлов А. А. Андреев А. С.

Киев - 1996 г.

Введение.

Теория вероятности возникла как наука из убеждения, что в основе массовых случайных событий лежат детерминированные закономерности. Теория вероятности изучает данные закономерности.

Например: определить однозначно результат выпадения “орла” или “решки” в результате подбрасывания монеты нельзя, но при многократном подбрасывании выпадает примерно одинаковое число “орлов” и “решек”.

Испытанием называется реализация определенного комплекса условий, который может воспроизводиться неограниченное число раз. При этом комплекс условий включает в себя случайные факторы, реализация которого в каждом испытании приводит к неоднозначности исхода испытания.

Например: испытание - подбрасывание монеты.

Результатом испытания является событие. Событие бывает:

Достоверное (всегда происходит в результате испытания);

Невозможное (никогда не происходит);

Случайное (может произойти или не произойти в результате испытания).

Например: При подбрасывании кубика невозможное событие - кубик станет на ребро, случайное событие - выпадение какой либо грани.

Конкретный результат испытания называется элементарным событием.

В результате испытания происходят только элементарные события.

Совокупность всех возможных, различных, конкретных исходов испытаний называется пространством элементарных событий.

Например: Испытание - подбрасывание шестигранного кубика. Элементарное событие - выпадение грани с “1” или “2”.

Совокупность элементарных событий это пространство элементарных событий.

Сложным событием называется произвольное подмножество пространства элементарных событий.

Сложное событие в результате испытания наступает тогда и только тогда, когда в результате испытаний произошло элементарное событие, принадлежащее сложному.

Таким образом, если в результате испытания может произойти только одно элементарное событие, то в результате испытания происходят все сложные события, в состав которых входят эти элементарные.

Например: испытание - подбрасывание кубика. Элементарное событие - выпадение грани с номером “1”. Сложное событие - выпадение нечетной грани.

Введем следующие обозначения:

А - событие;

w - элементы пространства W ;

W - пространство элементарных событий;

U - пространство элементарных событий как достоверное событие;

V - невозможное событие.

Иногда для удобства элементарные события будем обозначать Ei, Qi.

Операции над событиями.

1. Событие C называется суммой A+B, если оно состоит из всех элементарных событий, входящих как в A, так и в B. При этом если элементарное событие входит и в A, и в B, то в C оно входит один раз. В результате испытания событие C происходит тогда, когда произошло событие, которое входит или в A или в B. Сумма произвольного количества событий состоит из всех элементарных событий, которые входят в одно из Ai, i=1, ..., m.

2. Событие C произведением A и B, если оно состоит из всех элементарных событий, входящих и в A, и в B. Произведением произвольного числа событий называется событие состоящее из элементарных событий, входящих во все Ai, i=1, ..., m.

4. Событие называется противоположным событию A, если оно удовлетворяет двум свойствам.

Формулы де Моргана: Теория вероятности и математическая статистикаи Теория вероятности и математическая статистика

5. События A и B называются несовместными, если они никогда не могут произойти в результате одного испытания.

События A и B называются несовместными, если они не имеют общих элементарных событий.

C=A× B=V

Тут V - пустое множество.

Частость наступления события.

Пусть пространство элементарных событий конечно и состоит из m элементарных событий. В этом случае в качестве возможных исходов испытаний рассматривают 2m событий - множество всех подмножеств пространства элементарных событий W и невозможное событие V.

Пример:

W =(w 1, w 2, w 3)

A1=V

A2=(1)

A3=(2)

A4=(3)

A5=(1, 2)

A6=(2, 3)

A7=(1, 3)

A8=(w 1, w 2, w 3)

Обозначим систему этих событий через F. Берем произвольное событие AÎ F. Проводим серию испытаний в количестве n. n - это количество испытаний, в каждом из которых произошло событие A.

Частостью наступления события A в n испытаниях называется число

Теория вероятности и математическая статистика

Свойства частости.

Теория вероятности и математическая статистика

Частость достоверного события равна 1. n(U)=1.

Частость суммы попарно несовместных событий равна сумме частостей.

Рассмотрим систему Ai, i=1, ..., k; события попарно несовместны, т.е.

Теория вероятности и математическая статистика Событие Теория вероятности и математическая статистикаТеория вероятности и математическая статистика

Пусть в результате некоторого испытания произошло событие A. По определению сумы это означает, что в этом испытании произошло некоторое событие Ai. Так как все события попарно несовместны, то это означает, что никакое другое событие Aj (i¹ j) в этом испытании произойти не может. Следовательно:

nA=nA1+nA2+...+nAk

Теория вероятности и математическая статистика

Теория вероятности используется при описании только таких испытаний, для которых выполняется следующее предположение: Для любого события A частость наступления этого события в любой бесконечной серии испытаний имеет один и тот же предел, который называется вероятностью наступления события A.

Следовательно, если рассматривается вероятность наступления произвольного события, то мы понимаем это число следующим образом: это частость наступления события в бесконечной (достаточно длинной) серии испытаний.

К сожалению, попытка определить вероятность как предел частости, при числе испытаний, стремящихся к бесконечности, закончилась неудачно. Хотя американский ученый Мизес создал теорию вероятности, базирующуюся на этом определении, но ее не признали из-за большого количества внутренних логических несоответствий.

Теория вероятности как наука была построена на аксиоматике Колмогорова.

Аксиоматика теории вероятности.

Построение вероятностного пространства.

Последовательно строим вероятностное пространство.

Этап 1:

Имеется испытание. В результате проведения испытания может наблюдаться одно событие из серии событий e . Все события из системы e называются наблюдаемыми. Введем предположение, что если события A Ì e , B Ì e наблюдаемы, то наблюдаемы и события Теория вероятности и математическая статистика.

Система событий F называется полем событий или алгеброй событий, если для двух произвольных событий A, B Ì F выполняется:

Дополнения Теория вероятности и математическая статистика

(A+B) Î F, (A× B) Î F

все конечные суммы элементов из алгебры принадлежат алгебре

все конечные произведения элементов из алгебры принадлежат алгебре

все дополнения конечных сумм и произведений принадлежат алгебре.

Таким образом, систему e мы расширяем до алгебры или поля F путем включения всех конечных сумм, произведений, и их дополнений. Т.е. считаем, что в результате проведения испытания наблюдаемая система является полем или алгеброй.

Множество всех подмножеств конечного числа событий является наблюдаемой системой - алгеброй, полем.

Этап 2:

Каждому событию A Î F ставим в соответствие число P(A), которое называется вероятностью наступления события A. Такая операция задает вероятностную меру.

Вероятностная мера - числовая скалярная функция, аргументами которой являются элементы из системы алгебры F. Введенная вероятностная мера удовлетворяет системе из трех аксиом.

Теория вероятности и математическая статистикаТеория вероятности и математическая статистика

P(U)=1.

Рассмотрим конечную или бесконечную систему попарно несовместных событий, каждое из которых принадлежит алгебре F.

Теория вероятности и математическая статистика. Если Теория вероятности и математическая статистика, то Теория вероятности и математическая статистика.

Алгебра событий называется s - алгеброй, если эта система событий содержит в себе все конечные суммы и произведения из алгебры F и их дополнения, а также все бесконечные суммы и произведения из алгебры и их дополнения.

Пример: В пространстве R1 зададим в качестве поля событий все конечные интервалы вида a³ x> b, b¹ a.

Распространение этой алгебры на s - алгебру приводит к понятию борелевской алгебры, элементы которой называются борелевскими множествами. Борелевская алгебра получается не только расширением поля вида a³ x> b, но и расширением полей вида a> x³ b, a³ x³ b.

Над наблюдаемым полем событий F задается счетно-аддитивная мера - числовая скалярная функция, элементами которой являются элементы поля F, т.е. события. Она удовлетворяет следующим трем условиям-аксиомам теории вероятности.

Теория вероятности и математическая статистикаТеория вероятности и математическая статистика. P(A) - число, принадлежащее сегменту (0, 1) и называющееся вероятностью наступления события A.

P(A) Î (0, 1) P(U)=1.

Пусть имеется A1, A2, A3,..., Ak - система попарно несовместных событий

Теория вероятности и математическая статистика Если Теория вероятности и математическая статистика, то Теория вероятности и математическая статистика.

Теорема о продолжении меры.

Построим минимальную s - алгебру, которой принадлежит поле событий F (например, борелевская s - алгебра - это минимальная s - алгебра, которая содержит поле всех полуинтервалов ненулевой длины).

Тогда доказывается, что счетно-аддитивная функция P(A) однозначно распространяется на все элементы минимальной s - алгебры и при этом ни одна из аксиом не нарушается.

Таким образом, продленное P(A) называется s - аддитивной мерой.

s - алгебра содержит ненаблюдаемые события наряду с наблюдаемыми.

Но в аксиоматической теории вероятности считается, что может произойти любое событие из s - алгебры.

Расширение поля наблюдаемых событий на s - алгебру связано с невозможностью получить основные результаты теории вероятности без понятия s - алгебры.

Определение вероятностного пространства.

Вероятностным пространством называется тройка (W , s , P), где

W - пространство элементарных событий, построенное для данного испытания;

s - s -алгебра, заданная на W - системе возможных событий, которая интересует исследователя, в результате проводимых испытаний;

P - s - аддитивная мера, т.е. s - аддитивная неотрицательная функция, аргументами которой являются аргументы из s - алгебры и удовлетворяющая трем аксиомам теории вероятности.

Теория вероятности и математическая статистикаТеория вероятности и математическая статистика. P(A) - называется вероятностью наступления события A.

Вероятность достоверного события равна 1 P(W )=1.

Вероятность суммы несовместных событий равна сумме вероятностей

Теория вероятности и математическая статистика

Теория вероятности и математическая статистика, Теория вероятности и математическая статистика.

k - возможно бесконечное число.

Следствие:

Вероятность невозможного события равна 0.

По определению суммы имеет место неравенство W +V=W . W и V несовместные события.

По третей аксиоме теории вероятности имеем:

P(W +V)=P(Q)=P(U)=1

P(W )+P(V)=P(W )

1+P(V)=1

P(V)=1

Пусть W состоит из конечного числа элементарных событий W ={E1, E2,..., Em} тогда по определению Теория вероятности и математическая статистика. Элементарные события несовместны, тогда по третей аксиоме теории вероятности имеет место Теория вероятности и математическая статистика

Пусть некоторое событие AÌ W состоит из k элементарных событий, тогда {Ei1, Ei2,..., Eik} Теория вероятности и математическая статистика

Доказать: Если AÌ B, то P(B)³ P(A), B=A+C, A и C несовместны.

* Пусть B=A+C, A и B несовместны. Тогда по третей аксиоме теории вероятности P(B)=P(A+C)=P(A)+P(C) т.к. 1³ P(C)³ 0 - положительное число, то P(B)³ P(A).

Классическое определение вероятности.

Пусть W состоит из конечного числа элементарных событий и все элементарные события равновероятны, т.е. ни одному из них из них нельзя отдать предпочтения до испытания, следовательно, их можно считать равновероятными.

Тогда достоверное событие Теория вероятности и математическая статистика m - количество равновероятных событий

Теория вероятности и математическая статистика, Теория вероятности и математическая статистика, Теория вероятности и математическая статистика

Пусть произвольное событие Теория вероятности и математическая статистика Тогда Теория вероятности и математическая статистика, т.е. событие A состоит из k элементарных событий.

Если элементарные события являются равноправными, а, следовательно, и равновероятными, то вероятность наступления произвольного события равна дроби числитель которой равен числу элементарных событий, входящих в данное, а знаменатель - общее число элементарных событий.

Условная вероятность.

P(A/B)

Условной вероятностью наступления события A, при условии события B, называется вероятность наступления события A в результате испытаний, если известно, что в это испытании произошло событие B.

Вывод формулы условной вероятности для случая равновероятных элементарных событий

Действительно, в данном испытании произошло одно из t событий, входящих в B. Все элементарные события равновероятны, следовательно, для данного испытания вероятность наступления произвольного элементарного события, входящего в B равна 1/t. Тогда по классическому определению вероятности, в данном испытании событие A произойдет с вероятностью r/t.

Теория вероятности и математическая статистика

Теория вероятности и математическая статистика

В общем случае доказать эту формулировку невозможно, в теории вероятности она вводится как правило. Существует лишь толкование этой формулы.

Обоснование формулы условной вероятности в общем случае.

Пусть в nB испытаниях произошло событие B, а в nA испытаниях произошло событие A. Найдем условную частость наступления события A при условии, что произошло событие B. Мы можем сделать это для обоснования формулы, т.к. под вероятностью наступления события понимается предел частости наступления события при условии, что серия испытаний достаточно длинная.

Условная частость Теория вероятности и математическая статистика

Теория вероятности и математическая статистика

Рассматривая AB как одно событие D имеем: Теория вероятности и математическая статистика с другой стороны Теория вероятности и математическая статистика

Рассмотрим систему событий A1, A2,...,Ak. Покажем, что вероятность их совместного наступления равна: Теория вероятности и математическая статистика

Доказательство проведем по мат индукции.

Формула равна для 2 и 3 (см. ранее)

Пусть формула верна для k-1.

Теория вероятности и математическая статистика

Введем событие B.

Теория вероятности и математическая статистика

P(A1A2...Ak-1)=P(B)

P(A1A2...Ak)=P(AkB)=P(B)× P(AkB)

Независимые события.

Два события A и B называются независимыми, если P(A/B)=P(A); P(B)=P(B/A) - доказать.

В этом случае вероятность наступления двух событий A и B равна P(AB)=P(B)P(A/B)=P(A)P(B),

при этом покажем, что P(B/A)=P(B); P(AB)=P(B)P(A)=P(A)P(B/A)

События A1A2...Ak называются независимыми между собой, если вероятность их совместного наступления Теория вероятности и математическая статистика; Теория вероятности и математическая статистика. Два независимых события совместны.

* Если бы события были несовместны, то P(A/B)=0 и P(B/A)=0, т.к. они независимы, то P(A/B)=P(A) и P(B/A)=P(B), т.е. утверждение “независимые события несовместны”, т.к. P(A)=0 и P(B)=0, то это утверждение неверно.

Формула сложения вероятностей.

Теория вероятности и математическая статистика

U - достоверное событие

Теория вероятности и математическая статистика

Покажем, что события Теория вероятности и математическая статистика несовместны.

* Если события несовместны, то Теория вероятности и математическая статистика; Теория вероятности и математическая статистика;

т.е. события несовместны.

Тогда по третей аксиоме теории вероятности Теория вероятности и математическая статистика

Теория вероятности и математическая статистика

Справедливо следующее тождество на основании (1) и закона дистрибутивности

Теория вероятности и математическая статистика

Показать самим, что все три множества попарно несовместны.

Теория вероятности и математическая статистика

На основании первой и третей аксиомы теории вероятности получаем:

Теория вероятности и математическая статистика

Имеет место тождество Теория вероятности и математическая статистика, показать самим, что Теория вероятности и математическая статистика несовместны

Теория вероятности и математическая статистика

По третей аксиоме:

Теория вероятности и математическая статистика

Для экзамена доказать самим формулу суммы произвольного числа событий

Теория вероятности и математическая статистика

Формула полной вероятности.

Рассмотрим систему A из k попарно несовместных событий.

B1, B2, ..., Bk Теория вероятности и математическая статистика

Пусть дано событие A, удовлетворяющее равенству A=B1A+B2A+...+BkA.

Показать, что события B1A, B2A, BkA попарно несовместны. BiABjA=BiBjAA=VAA=V

Найти вероятность наступления события A. Любое событие входящее в A, обязательно входит в некоторое, но одно Bi, т.к. B1, B2, ..., Bk образуют полную группу.

Т.к. B1, B2, ..., Bk несовместны, то по третей аксиоме теории вероятности имеем:

Теория вероятности и математическая статистика; т.е.

Теория вероятности и математическая статистика

Например: Имеются урны трех составов

1

5 урн

6 белых и 3 черных шара

2

3 урны

10 белых и 1 черный

3

7 урн

0 белых и 10 черных

Все шары в каждой урне перемешаны.

Испытание - извлекается шар. Какая вероятность того, что при этом будет извлечен белый шар.

B1 - Вытащить любой шар из урны 1.

B2 - Вытащить любой шар из урны 2.

B3 - Вытащить любой шар из урны 3.

A - Извлечь белый шар.

A=B1A+B2A+B3A

B1, B2, B3 - попарно несовместны.

Формула полной вероятности: P(A)=P(B1)P(A/B1)+P(B2)P(A/B2)+P(B3)P(A/B3)

P(B1)=1/3

P(A/B1)=6/9=2/3

P(B2)=1/5

P(A/B2)=10/11

P(B3)=7/15

P(A/B3)=0

P(A)=1/3× 2/3+1/5× 11/10+7/15× 0=2/9+2/11=40/99» 0.4

Формула Байеса.

Постановка задачи та же, но решаем обратную задачу.

Проводится испытание, в результате которого произошло событие A. Какова вероятность того, что в этом испытании произошло событие Bi.

Условные вероятности называются апостериорными, а безусловные - априорными вероятностями.

P(ABi)=P(A)P(Bi/A)=P(Bi)P(A/Bi)

Откуда, Теория вероятности и математическая статистика

Таким образом, формула Байеса: Теория вероятности и математическая статистика

Композиция испытаний.

Имеется вероятностное пространство, которое порождает испытание 1.

Теория вероятности и математическая статистика

где Ei, i=1, ..., m1 - пространство элементарных событий в результате испытания.

P(Ei), i=1, ..., m1 - вероятности элементарных событий.

Испытание 2 порождает вероятностное пространство вида

Теория вероятности и математическая статистика

P(Ei), P(Qj) - разные вероятностные меры.

Композицией двух испытаний называется сложное испытание, состоящее в поведении первого и второго испытания.

Композиция испытаний порождает вероятностное пространство вида:

Теория вероятности и математическая статистикаТеория вероятности и математическая статистика

EiQj - композиционное событие.

В общем случае по P(Ei) и P(Qj) найти P(EiQj) невозможно.

Рассмотрим один частный случай, когда это можно сделать.

Два испытания называются независимыми, если различные исходы обоих испытаний определяются несвязанными между собой случайными факторами.

Из определения независимости испытания вытекает, что условные частости наступления события в одном испытании, при условии, что во втором испытании произошло фиксированное число событий равны безусловным частостям, если они существуют.

Пусть испытания независимы. В результате проведения первого испытания произошло элементарное событие Ei, в результате второго испытания может произойти все что угодно.

Тогда сложное событие, определяющее исход первого и второго испытания имеет вид:

Теория вероятности и математическая статистика и равно сумме комбинаций исходов первого и второго испытаний.

Вероятность сложного события A.

Теория вероятности и математическая статистика, т.е. результаты второго испытания не зависят от результатов первого.

Если в результате второго испытания произошло событие Qj, а в результате первого испытания могло произойти все что угодно, то сложное событие B имеет вид: Теория вероятности и математическая статистика.

Вероятность сложного события B равна сумме вероятностей комбинаций вида EiQj, i=1, ..., m1

Теория вероятности и математическая статистика, т.к. исходы первого испытания не влияют на исходы второго испытания. Из факта: P(AB)=P(A)P(B/A); P(B/A)=P(B); AB=EiQj (надо доказать)

A={EiQ1, EiQ2, ..., EiQj, ..., EiQm2}

B={E1Qj, E2Qj, ..., EiQj, ..., Em1Qj}

По определению произведения AB в него входят только те события, которые входят и в A, и в B. Из приведенных выше формул следует, что только событие EiQj входит и в A, и в B, то AB= EiQj. Следует:

Теория вероятности и математическая статистика

Композиционное пространство имеет вид: Теория вероятности и математическая статистика

Общая структура независимых событий в композиционном пространстве, порожденном композицией испытаний:

Теория вероятности и математическая статистика

т.е. в результате первого испытания произошли элементарные события: Теория вероятности и математическая статистика.

В результате второго испытания события: Теория вероятности и математическая статистика.

Сложное событие B определяет все возможные комбинации исходов двух испытаний независимо друг от друга. В результате первого испытания произошли элементарные события: Теория вероятности и математическая статистика.

В результате второго испытания события: Теория вероятности и математическая статистика.

Тогда: Теория вероятности и математическая статистика

Теория вероятности и математическая статистика, т.к. второе испытание не влияет на результаты первого.

Теория вероятности и математическая статистика

т.к. Теория вероятности и математическая статистика, (надо доказать)

то Теория вероятности и математическая статистика

При решении практических задач, связанных с независимыми испытаниями обычно не требуется строить композиционных пространств элементарных событий, а использовать формально неверную запись: P(A× B)=P(A)× P(B).

Композиция n испытаний.

Имеется n испытаний. Зададим для i-го испытания вероятностное пространство:

Теория вероятности и математическая статистика i=1, ..., n

Композицией n испытаний называется сложное испытание, состоящее в совместном проведении n испытаний. Задается n испытаний, вероятностное пространство каждого из которых имеет вид:

Теория вероятности и математическая статистика i=1, ..., n

Композиционное пространство имеет вид:

Теория вероятности и математическая статистика j1=1, ..., m1; j2=1, ..., m2; jn=1, ..., mn;

Композиция n независимых испытаний.

Испытания (n - испытаний) называются независимыми, если неоднозначность исхода каждого из испытаний определена не связанными между собой группами факторов.

Событие A1: в результате проведения композиционного испытания в первом испытании произошло событие Теория вероятности и математическая статистика. Тогда Теория вероятности и математическая статистика

Событие An: в результате проведения композиционного испытания в первом испытании произошло событие Теория вероятности и математическая статистика. Тогда Теория вероятности и математическая статистика

Теория вероятности и математическая статистика

Теория вероятности и математическая статистика

Теория вероятности и математическая статистика i=1, ..., n

Рассмотрим событие: Теория вероятности и математическая статистика

В силу определения независимости испытаний очевидно, что:

Теория вероятности и математическая статистика

Теория вероятности и математическая статистика

Теория вероятности и математическая статистика

Теория вероятности и математическая статистика.

Следовательно: Теория вероятности и математическая статистика.

На практике не строят композиционных пространств, а записывают формально неправильную формулу: P(A1A2...An)=P(A1)P(A2)...P(An).

Композиционное пространство имеет вид:

Теория вероятности и математическая статистика j1=1, ..., m1; j2=1, ..., m2; jn=1, ..., mn;

Общая структура независимых событий в композиционном пространстве имеет вид:

1-е событие -

это событие, которое происходит в 1-м вероятностном пространстве

2-е событие -

это событие, которое происходит во 2-м вероятностном пространстве

n - событие -

это событие, которое происходит в n-м вероятностном пространстве

Рассмотрим два вероятностных пространства.

I

II

Теория вероятности и математическая статистика

Теория вероятности и математическая статистика

Очевидно, что неопределенность испытания до испытания в первом вероятностном пространстве выше, чем во втором. Действительно, до испытания в I нельзя ни одному из событий отдать предпочтения, а во II событие E3 происходит чаще.

Энтропия - мера неопределенности исхода испытания (до испытания).

Первым, кто функционально задал выражение для энтропии был Шеннон.

Теория вероятности и математическая статистика, Теория вероятности и математическая статистика

Для вероятностного пространства:

Теория вероятности и математическая статистика

Энтропия задается выражением: Теория вероятности и математическая статистика. Если P1=0, то Pi× logPi=0.

Самим показать, что:

Если вероятностное пространство не имеет определенности, т.е. какое-то из Pi=1, а остальные равны 0, то энтропия равна нулю.

Если элементарный исход равновероятен, т.е. Теория вероятности и математическая статистика , то энтропия принимает максимальное значение.

0£ Pi£ 1, Теория вероятности и математическая статистика

Теория вероятности и математическая статистика

Теория вероятности и математическая статистика, Теория вероятности и математическая статистика

т.о. вероятности p1, p2, ..., ps обращаются в ноль, например pi, которая равна 1. Но log1=0. Остальные числа также обращаются в 0, т.к. Теория вероятности и математическая статистика.

Докажем, что энтропия системы с конечным числом состояний достигае максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы как функцию вероятностей p1, p2, ..., ps и найдем условный экстремум этой функции, при условии, что Теория вероятности и математическая статистика .

Пользуясь методом неопределенных множителей Лагранжа, будем искать экстремум функции: Теория вероятности и математическая статистика.

Дифференцируя по p1, p2, ..., ps и приравнивая производные нулю получим систему:

Теория вероятности и математическая статистика i=1, ..., s

Откуда видно, что экстремум достигается при равных между собой p1.

Т.к. Теория вероятности и математическая статистика, то p1= p2=, ..., = ps= 1/s.

Еденицей измерения энтропии является энтропия вероятностного пространства вида: Теория вероятности и математическая статистика

Теория вероятности и математическая статистика, которая называется 1 бит.

Неопределенность исхода испытания до испытания автоматически определяет информативность исхода испытания после испытания. Поэтому в битах также измеряется информативность исхода.

Рассмотрим два вероятностных пространства:

Теория вероятности и математическая статистикаТеория вероятности и математическая статистика

Проводим композицию двух испытаний. Композиционное пространство имеет вид:

Теория вероятности и математическая статистика i=1, ..., s1 j=1, ..., s2

С точки зрения качественного анализа максимальная энтропия композиционного вероятностного пространства достигается тогда, когда испытания независимы. Найдем энтропию композиционного пространства для случая независимых испытаний.

Теория вероятности и математическая статистика

Теория вероятности и математическая статистика

Биномиальное распределение.

n испытаний называются системой испытаний Бернулли, если испытания независимы, в каждом из них происходит событие Теория вероятности и математическая статистика, либо Теория вероятности и математическая статистика с вероятностью наступления P(A) = p; Теория вероятности и математическая статистика

Найдем вероятность того, что в результате проведенных n испытаний событие А произошло m раз:

Теория вероятности и математическая статистика

Рассмотрим композицию n независимых испытаний и построим композиционное пространство элементарных событий.

Общий вид элемента этого пространства следующий:

Теория вероятности и математическая статистика

где

Теория вероятности и математическая статистика

При этом вероятность наступления такого события равна:

Теория вероятности и математическая статистика(умножение при независимых событиях)Теория вероятности и математическая статистика

Найдем вероятность наступления любого элементарного события из композиционного пространства:

Теория вероятности и математическая статистика

Рассмотрим в композиционном вероятностном пространстве событие: в n испытаниях событие A произошло m раз.

Событие A состоит из Теория вероятности и математическая статистика - общее кол-во элементарных событий, в которое входит событие А. А произошло m раз, Теория вероятности и математическая статистика - n-m раз. Вероятность каждого из этих элементарных событий одинакова и равна:

Теория вероятности и математическая статистика

Следовательно, на основании III аксиомы теории вероятности результат равняется:

Теория вероятности и математическая статистика (сложение вероятностей)

Теория вероятности и математическая статистика

Случайная величина

Пусть имеется вероятностное пространство вида Теория вероятности и математическая статистика.

Случайной величиной называется измеримая числовая скалярная функция Теория вероятности и математическая статистика, элементами которой являются элементарные события.

Числовая скалярная функция - это функция, удовлетворяющая следующему условию:

Теория вероятности и математическая статистика соб