Как уже говорилось, при достаточно большом количестве испытаний, поставленных в одинаковых условиях, характеристики случайных событий и случайных величин становятся почти неслучайными. Это позволяет использовать результаты наблюдений случайных событий для предсказания исхода того или иного опыта.
Предельные теоремы теории вероятностей устанавливают соответствие между теоретическими и экспериментальными характеристиками случайных величин при большом количестве испытаний.
В рассмотренном выше законе больших чисел нечего не говорилось о законе распределения случайных величин.
Поставим задачу нахождения предельного закона распределения суммы
когда число слагаемых п неограниченно возрастает. Эту задачу решает центральная предельная теорема Ляпунова, которая была сформулирована выше.
В зависимости от условий распределения случайных величин , образующих сумму, возможны различные формулировки центральной предельной теоремы.
Допустим, что случайные величины взаимно независимы и одинаково распределены.
Теорема . Если случайные величины взаимно независимы и имеют один и тот же закон распределения с математическим ожиданием т и дисперсией , причем существует третий абсолютный момент , то при неограниченном увеличении числа испытаний п закон распределения суммы неограниченно приближается к нормальному.
При доказательстве этой теоремы Ляпуновым использовались так называемые характеристические функции .
Характеристической функцией случайной величины Х называется функция
Эта функция представляет собой математическое ожидание некоторой комплексной случайной величины , являющейся функцией от случайной величины Х . При решении многих задач удобнее пользоваться характеристическими функциями, а не законами распределения.
Зная закон распределения, можно найти характеристическую функцию по формуле (для непрерывных случайных величин):
Как видим, данная формула представляет собой не что иное, как преобразование Фурье для функции плотности распределения. Очевидно, что с помощью обратного преобразования Фурье можно по характеристической функции найти закон распределения.
Введение характеристических функций позволяет упростить операции с числовыми характеристиками случайных величин.
В случае нормального распределения характеристическая функция имеет вид:
Сформулируем некоторые свойства характеристических функций:
1) Если случайные величины Х и Y связаны соотношением
где а – неслучайный множитель, то
2) Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых.
Случайные величины , рассмотренные в центральной предельной теореме, могут обладать произвольными распределениями вероятностей.
Если все эти случайные величины одинаково распределены, дискретны и принимают только два возможных значения 0 или 1, то получается простейший случай центральной предельной теоремы, известный как теорема Муавра – Лапласа .
Теорема (теорема Муавра – Лапласа) . Если производится п независимых опытов, в каждом из которых событие А появляется с вероятностью р , то для любого интервала справедливо соотношение:
где Y – число появлений события А в п опытах, , – функция Лапласа, - нормированная функция Лапласа.
Теорема Муавра – Лапласа описывает поведение биноминального распределения при больших значениях п .
Данная теорема позволяет существенно упростить вычисление по формуле биноминального распределения.
Расчет вероятности попадания значения случайной величины в заданный интервал 
при больших значениях п
крайне затруднителен. Гораздо проще воспользоваться формулой:
Теорема Муавра – Лапласа очень широко применяется при решении практических задач.
Пример 53.1. Вероятность наступления события А в каждом испытании равна 0,3. Используя неравенство Чебышева, оценить вероятность того, что в 10000 испытаниях отклонение относительной частоты появления события А от его вероятности не превзойдет по абсолютной величине 0,01.
Решение .
В соответствии с неравенством Чебышева вероятность того, что отклонение случайной величины от ее математического ожидания будет меньше некоторого числа , ограничена в соответствии с неравенством 
.
Надо определить математическое ожидание и дисперсию числа появления события А при одном опыте. Для события А случайная величина может принимать одно из двух значений: 1- событие появилось, 0 - событие не появилось. При этом вероятность значения 1 равна вероятности , а вероятность значения 0 - равна вероятности ненаступления события А .
По определению математического ожидания имеем:
Дисперсия:
В случае п
независимых испытаний получаем 
Эти формулы уже упоминались выше.
В нашем случае получаем:
Вероятность отклонения относительной частоты появления события А в п испытаниях от вероятности на величину, не превышающую равна:
Выражение полученное в результате этих простых преобразований представляет собой не что иное, как вероятность отклонения числа т появления события А от математического ожидания на величину не большую, чем .
В соответствии с неравенством Чебышева эта вероятность будет не меньше, чем величина 
Пример 53.2. Сколько следует проверить деталей, чтобы с вероятностью, не меньшей 0,96, можно было ожидать, что абсолютная величина отклонения относительной частоты годных деталей от вероятности детали быть годной, равной 0,98, не превысит 0,02.
Решение .
Условие задачи фактически означает, что выполняется неравенство:
Здесь п - число годных деталей, т - число проверенных деталей. Для применения неравенства Чебышева преобразуем полученное выражение:
После домножения выражения, стоящего в скобках, на т получаем вероятность отклонения по модулю количества годных деталей от своего математического ожидания, следовательно, можно применить неравенство Чебышева, т.е. эта вероятность должна быть не меньше, чем величина , а по условию задачи еще и не меньше, чем 0,96.
Таким образом, получаем неравенство 
. Как уже говорилось в предыдущей задаче, дисперсия может быть найдена по формуле .
Итого, получаем:
.
Т.е. для выполнения требуемых условий необходимо не менее 1225 деталей.
Пример 53.3. Суточная потребность электроэнергии в населенном пункте является случайной величиной, математическое ожидание которой равно 3000 кВт/час, а дисперсия составляет 2500. Оценить вероятность того, что в ближайшие сутки расход электроэнергии в этом населенном пункте будет от 2500 до 3500 кВт/час.
Решение .
Требуется найти вероятность попадания случайной величины в заданный интервал:
Крайние значения интервала отклоняются от математического ожидания на одну и ту же величину, а именно – на 500. Тогда можно записать с учетом неравенства Чебышева:
Отсюда получаем:
Т.е. искомая вероятность будет не меньше, чем 0,99.
Пример 53.4. Среднее квадратическое отклонение каждой из 2500 независимых случайных величин не превосходит 3. Оценить вероятность того, что абсолютная величина отклонения среднего арифметического этих случайных величин от среднего арифметического их математических ожиданий не превосходит 0,3.
Решение .
Требуется найти вероятность
Неравенство Чебышева в случае суммы случайных величин имеет вид:
Если среднее квадратическое отклонение не превосходит 3, то, очевидно, дисперсия не превосходит 9. Величина e по условию задачи равна 0,3.
Тогда 
. Отсюда получаем при n=
2500:
.
Пример 53.5. Выборочным путем требуется определить среднюю длину изготавливаемых деталей. Сколько нужно исследовать деталей, чтобы с вероятностью, большей, чем 0,9, можно было утверждать, что средняя длина отобранных изделий будет отличаться от математического ожидания этого среднего (средняя длина деталей всей партии) не более, чем на 0,001 см.? Установлено, что среднее квадратическое отклонение длины детали не превышает 0,04 см.
Решение .
Для того, чтобы воспользоваться теоремой Муавра - Лапласа найдем математическое ожидание и дисперсию количества бракованных деталей в 50 – ти отобранных:
Фактически в задаче требуется определить вероятность того, что бракованных деталей будет не менее шести, но и, очевидно, не более 50- ти.
Значения функции Лапласа находятся по таблице (см. приложение 2). Конечно, значения функции Лапласа в таблице нет, но т.к. в таблицах указано, что , то все значения от величин, превышающих 3 также равны 1.
Пример 53.7. Известно, что 60% всего числа изготавливаемых заводом изделий являются изделиями первого сорта. Приемщик берет первые попавшиеся 200 изделий. Чему равна вероятность того, что среди них окажется из от 120 до 150 изделий первого сорта?
Решение .
Вероятность того, что деталь окажется первого сорта, равна, очевидно, 0,6.
Математическое ожидание числа изделий первого сорта равно:
По теореме Муавра - Лапласа получаем:
Пример 53.8. Проверкой установлено, что 96% изделий служат не меньше гарантируемого срока. Наугад выбирают 15000 изделий. Найти вероятность того, что со сроком службы менее гарантируемого будет от 570 до 630 изделий.
Решение .
Вероятность того, что срок службы изделия будет менее гарантированного равна:
Математическое ожидание числа таких изделий равно .
По теореме Муавра - Лапласа получаем.
Центральная предельная теорема (ЦПТ) представляет собой вторую группу предельных теорем, которые устанавливают связь между законом распределения суммы случайных величин и его предельной формой –нормальным законом распределения.
До сих пор мы часто говорили об устойчивости средних характеристик большого числа испытаний, говоря точнее, об устойчивости сумм вида
Однако следует обратить внимание, что
величина
случайная,
а значить, она имеет некоторый закон
распределения. Оказывается этот
замечательный факт, составляет содержание
другой группы теорем, объединяемых под
общим названием центральная предельная
теорема
, что при досточно общих
условиях закон распределения
близок к нормальному закону.
Поскольку величина
отличается
от суммы
лишь постоянным множителем
то
в общих чертах содержание ЦПТ может
быть сформулировано следующим образом.
Распределение суммы большого числа независимых случайных величин при весьма
общих условиях близко к нормальному закону распределению.
Известно, что нормально распределенные случайные величины широко распространены на практике (не только в теории вероятностей, но и в её многочисленных приложениях). Чем такое явление объясняется? Ответ на такой «феномен» впервые был дан выдающимся русским математиком А.М. Ляпуновым в 1901году: «Центральная предельная теорема Ляпунова». Ответ Ляпунова заключается в его условии, при которых справедливо ЦПТ (см. далее).
В целях подготовки точной формулировки ЦПТ, поставим перед собой два вопроса:
1.
Какой точный смысл содержит в
себе утверждение о том, что «закон
распределения суммы
«близка» к нормальному закону?».
2. При каких условиях справедлива эта близость?
Чтобы ответить на эти вопросы, рассмотрим
бесконечную последовательность
случайных величин:
Составим «частичные суммы» нашей
последовательности с.в.
(23)
От
каждой случайных величин
перейдём к «нормированной» случайной
величине
(24)
Нами было установлено (см.Т.8., п.3,
равенства (19)), что
.
Ответ на первый вопрос теперь можно сформулировать в виду предельного равенства
(25)
,
(
,
означающего, что закон распределения
с.в.
с ростом
приближается к нормальному закону с
.
Разумеется, из того факта, что величина
имеет приближенно нормальное
распределение, следует, что и величина
распределена приближенно нормально,
(26)
Формула для определения вероятности
того, что сумма нескольких с.в. окажется
в заданных пределах. Часто ЦПТ используют
при
По поводу условий, которые следует
наложить на величины
можно
высказать следующие соображения.
Рассмотрим разность
Получим отклонение с.в
от её математического ожидания. Общий
смысл накладываемых условий, на величины
заключается в том, что отдельные
отклонения
должны быть равномерно малы по сравнению
с суммарным отклонением
Точную формулировку этих условий, при
которых справедливо предельное
соотношение дал М.А. Ляпунов в 1901 году.
Она заключается в следующем.
Пусть для каждой из величин
числаконечны, (заметим, что
есть дисперсия с.в.
-
«центральный момент третьего порядка»
).
Если при
,
то
будем говорить, что последовательность
удовлетворяетусловию Ляпунова.
В частности, ЦПТ для случаев,
когда в сумме случайных величин каждый
слагаемый имеет одинаковое распределение,
т.е. все
и
то
условие Ляпунова выполняется
Именно, на практике такой случай ЦПТ чаще всего используется. Потому, что в математической статистике любая случайная выборка с.в. имеют одинаковые распределения, поскольку «выборки» получены из одной и той же генеральной совокупности.
Сформулируем этот случай как отдельное утверждение ЦПТ.
Теорема 10.7 (ЦПТ).
Пусть случайные
величины
независимы, одинаково
распределены,
имеют конечные математическое ожидание
и дисперсию
Тогда функция распределения
центрированной и нормированной суммы
этих с.в. при
стремится к функции распределения
стандартной нормальной случайной
величины:
(27)
На этом частном случае хорошо осмыслить,
в чем находит своё проявление равномерная
«малость» слагаемых,
где
величина
имеет
порядок
,
а величина
порядок
,
тем самым отношение первой величины
ко второй стремится, к 0.
Теперь мы в состоянии сформулировать центральную предельную теорему в форме А.М. Ляпунова.
Теорема 10.8. (Ляпунова).
Если
последовательность
независимых случайных величин
удовлетворяет условию Ляпунова, то
справедливо предельное соотношение
(28)
,
для
любых
и
,
при этом (
.
Иными словами, в этом случае закон
распределения нормированной суммы
сходится к нормальному закону с
параметрами
Следует отметить, что для доказательства ЦПТ А.М. Ляпунов разработал специальный метод, основанный на теорию так называемых характеристических функций. Этот метод оказался весьма полезным и в других разделах математики (см. доказательство ЦПТ например в кн. Бородин […]). В этой книге мы, о производящих функциях будем давать краткую информацию и некоторые применения к подсчёту числовых характеристик случайных величин.
Краткие сведения об ошибке измерений. Известно, что при повторении измерений одного и того же объекта, выполненными одним и тем же измерительным прибором с одинаковой тщательностью (при одинаковых условиях) не всегда достигаются одинаковые результаты. Разброс результатов измерения вызван тем, что на процесс измерения влияют многочисленные факторы, которые не возможно и не целесообразно учитывать. В этой ситуации ошибку, возникающую при измерении интересующей нас величины часто можно рассматривать как сумму большого числа независимых между собой слагаемых, каждое из которых даёт лишь незначительный вклад в образование всей суммы. Но такие случаи приводят нас как раз к условиям применимости теоремы Ляпунова и можно ожидать, что распределение ошибки измеряемой величины мало отличается от нормального распределения.
В более общем случае, ошибка является функцией большого числа случайных аргументов, каждый из которых лишь немного отличается от своего математического ожидания. Линеаризуя эту функцию, то есть, заменяя её линейной, опять приходят к предыдущему случаю. Накопленный опыт по статистической обработке результатов измерений действительно подтверждает этот факт в большинстве практических случаев.
Аналогичные рассуждения объясняют появление нормального распределения в отклонениях параметров, определяющих выпущенную готовую продукцию (изделия), от нормативных значений при массовом производстве.
Рассмотрим следующий пример.
Пример 5.
Независимые случайные
величины
распределены
равномерно на отрезке . Найти закон
распределения с.в.
,
а также вероятность того, что
Решение.
Условия ЦПТ соблюдается,
поэтому с.в.
имеет приближенно плотность распределения
По известным формулам для м.о. и дисперсии в случае равномерного распределения находим: Тогда
На основании формулы (26), находим (с учётом табличных значений функции Лапласа)
Теория вероятностей изучает закономерности, свойственные массовым случайным явлениям. Как и любая другая наука, теория вероятностей предназначена для того, чтобы возможно точнее предсказать результат того или иного явления или эксперимента. Если явление носит единичный характер, то теория вероятностей способна предсказать лишь вероятность исхода в весьма широких пределах. Закономерности проявляются только при большом числе случайных явлений, происходящих в однородных условиях.
Группа теорем, устанавливающих соответствие между теоретическими и экспериментальными характеристиками случайных величин и случайных событий при большом числе испытаний над ними, а также касающихся предельных законов распределения, объединяются под общим названием предельных теорем теории вероятностей .
Есть два типа предельных теорем: закон больших чисел и центральная предельная теорема.
Закон больших чисел , занимающий важнейшее место в теории вероятностей, является связующим звеном между теорией вероятностей как математической наукой и закономерностями случайных явлений при массовых наблюдениях над ними.
Закон играет очень важную роль в практических применениях теории вероятностей к явлениям природы и техническим процессам, связанным с массовым производством.
Предельные законы распределения составляют предмет группы теорем – количественной формы закона больших чисел. Т.е. закон больших чисел – ряд теорем, в каждой из которых устанавливается факт приближения средних характеристик большого числа испытаний к некоторым определенным постоянным, т.е. устанавливают факт сходимости по вероятности некоторых случайных величин к постоянным. Это теоремы Бернулли, Пуассона, Ляпунова, Маркова, Чебышева.
1. а ) Теорема Бернулли – закон больших чисел (была сформулирована и доказана ранее в п. 3 § 6 при рассмотрении предельной интегральной теоремы Муавра-Лапласа.)
При неограниченном увеличении числа однородных независимых опытов частота события будет сколь угодно мало отличаться от вероятности события в отдельном опыте. Иначе, вероятность того, что отклонение относительной частоты наступления события А
от постоянной вероятности р
события А
очень мало при стремится к 1 при любом : 
.
b) Теорема Чебышева.
При неограниченном увеличении числа независимых испытаний среднее арифметическое наблюдаемых значений случайной величины, имеющей конечную дисперсию, сходится по вероятности к ее математическому ожиданию иначе, если независимые одинаково распределенные случайные величины с математическим ожиданием и ограниченной дисперсией , то при любом справедливо: 
.
Теорема Чебышева (обобщенная).
Если случайные величины в последовательности попарно независимы, а их дисперсии удовлетворяют условию 
, то для любого положительного ε > 0 справедливо утверждение:
или, что то же 
.
c) Теорема Маркова. (закон больших чисел в общей формулировке)
Если дисперсии произвольных случайных величин в последовательности удовлетворяют условию: 
, то для любого положительного ε > 0 имеет место утверждение теоремы Чебышева: .
d) Теорема Пуассона.
При неограниченном увеличении числа независимых опытов в переменных условиях частота события А сходится по вероятности к среднему арифметическому его вероятностей при данных испытаниях.
Замечание. Ни в одной из форм закона больших чисел мы не имеем дела с законами распределения случайных величин. Вопрос, связанный с отысканием предельного закона распределения суммы , когда число слагаемых неограниченно возрастает, рассматривает центральная предельная теорема. одинаково распределены, то придем к интегральной теореме Муавра-Лапласа (п. 3 § 6), представляющей собой простейший частный случай центральной предельной теоремы.
Так как многие случайные величины в приложениях формируются под влиянием нескольких слабо зависимых случайных факторов, их распределение считают нормальным. При этом должно соблюдаться условие, что ни один из факторов не является доминирующим. Центральные предельные теоремы в этих случаях обосновывают применение нормального распределения.
1 / 5
Пусть есть бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математическое ожидание и дисперсию . Обозначим последние μ {\displaystyle \mu } и σ 2 {\displaystyle \sigma ^{2}} , соответственно. Пусть также
. S n − μ n σ n → N (0 , 1) {\displaystyle {\frac {S_{n}-\mu n}{\sigma {\sqrt {n}}}}\to N(0,1)} по распределению при ,где N (0 , 1) {\displaystyle N(0,1)} - нормальное распределение с нулевым математическим ожиданием и стандартным отклонением , равным единице. Обозначив символом выборочное среднее первых n {\displaystyle n} величин, то есть X ¯ n = 1 n ∑ i = 1 n X i {\displaystyle {\bar {X}}_{n}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}} , мы можем переписать результат центральной предельной теоремы в следующем виде:
n X ¯ n − μ σ → N (0 , 1) {\displaystyle {\sqrt {n}}{\frac {{\bar {X}}_{n}-\mu }{\sigma }}\to N(0,1)} по распределению при n → ∞ {\displaystyle n\to \infty } .Скорость сходимости можно оценить с помощью неравенства Берри - Эссеена .
В предположениях классической формулировки, допустим в дополнение, что распределение случайных величин { X i } i = 1 ∞ {\displaystyle \{X_{i}\}_{i=1}^{\infty }} абсолютно непрерывно, то есть оно имеет плотность. Тогда распределение также абсолютно непрерывно, и более того,
f Z n (x) → 1 2 π e − x 2 2 {\displaystyle f_{Z_{n}}(x)\to {\frac {1}{\sqrt {2\pi }}}\,e^{-{\frac {x^{2}}{2}}}} при n → ∞ {\displaystyle n\to \infty } ,где f Z n (x) {\displaystyle f_{Z_{n}}(x)} - плотность случайной величины Z n {\displaystyle Z_{n}} , а в правой части стоит плотность стандартного нормального распределения.
Результат классической центральной предельной теоремы справедлив для ситуаций гораздо более общих, чем полная независимость и одинаковая распределённость.
Пусть независимые случайные величины X 1 , … , X n , … {\displaystyle X_{1},\ldots ,X_{n},\ldots } определены на одном и том же вероятностном пространстве и имеют конечные математические ожидания и дисперсии : E [ X i ] = μ i , D [ X i ] = σ i 2 {\displaystyle \mathbb {E} =\mu _{i},\;\mathrm {D} =\sigma _{i}^{2}} .
Пусть S n = ∑ i = 1 n X i {\displaystyle S_{n}=\sum \limits _{i=1}^{n}X_{i}} .
Тогда E [ S n ] = m n = ∑ i = 1 n μ i , D [ S n ] = s n 2 = ∑ i = 1 n σ i 2 {\displaystyle \mathbb {E} =m_{n}=\sum \limits _{i=1}^{n}\mu _{i},\;\mathrm {D} =s_{n}^{2}=\sum \limits _{i=1}^{n}\sigma _{i}^{2}} .
И пусть выполняется условие Линдеберга :
∀ ε > 0 , lim n → ∞ ∑ i = 1 n E [ (X i − μ i) 2 s n 2 1 { | X i − μ i | > ε s n } ] = 0 , {\displaystyle \forall \varepsilon >0,\;\lim \limits _{n\to \infty }\sum \limits _{i=1}^{n}\mathbb {E} \left[{\frac {(X_{i}-\mu _{i})^{2}}{s_{n}^{2}}}\,\mathbf {1} _{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}\right]=0,}где 1 { | X i − μ i | > ε s n } {\displaystyle \mathbf {1} _{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}} функция - индикатор.
по распределению при n → ∞ {\displaystyle n\to \infty } .Пусть выполнены базовые предположения Ц. П. Т. Линдеберга. Пусть случайные величины { X i } {\displaystyle \{X_{i}\}} имеют конечный третий момент . Тогда определена последовательность
r n 3 = ∑ i = 1 n E [ | X i − μ i | 3 ] {\displaystyle r_{n}^{3}=\sum _{i=1}^{n}\mathbb {E} \left[|X_{i}-\mu _{i}|^{3}\right]} .Если предел
lim n → ∞ r n s n = 0 {\displaystyle \lim \limits _{n\to \infty }{\frac {r_{n}}{s_{n}}}=0} (условие Ляпунова ), S n − m n s n → N (0 , 1) {\displaystyle {\frac {S_{n}-m_{n}}{s_{n}}}\to N(0,1)} по распределению при n → ∞ {\displaystyle n\to \infty } .Пусть процесс (X n) n ∈ N {\displaystyle (X_{n})_{n\in \mathbb {N} }} является мартингалом с ограниченными приращениями. В частности, допустим, что
E [ X n + 1 − X n ∣ X 1 , … , X n ] = 0 , n ∈ N , X 0 ≡ 0 , {\displaystyle \mathbb {E} \left=0,\;n\in \mathbb {N} ,\;X_{0}\equiv 0,}и приращения равномерно ограничены, то есть
∃ C > 0 ∀ n ∈ N | X n + 1 − X n | ≤ C {\displaystyle \exists C>0\,\forall n\in \mathbb {N} \;|X_{n+1}-X_{n}|\leq C} τ n = min { k | ∑ i = 1 k σ i 2 ≥ n } {\displaystyle \tau _{n}=\min \left\{k\left\vert \;\sum _{i=1}^{k}\sigma _{i}^{2}\geq n\right.\right\}} . X τ n n → N (0 , 1) {\displaystyle {\frac {X_{\tau _{n}}}{\sqrt {n}}}\to N(0,1)} по распределению при n → ∞ {\displaystyle n\to \infty } .
