При наличии во временном ряду тенденции и циклических изменений значения последующего уровня ряда зависят от предыдущих. Зависимость между последовательными уровнями временного ряда называют автокорреляцией уровней ряда.
Количественно ее можно измерить с помощью индекса корреляции между уровнями исходного временного ряда и уровнями этого ряда, сдвинутыми на несколько шагов во времени.
Пусть задан временный ряд: у ,у,…у и пусть имеет место линейная корреляция между y t и y t -1 .
Определим коэффициент корреляции между рядами у t и у t -1 .
Для этого воспользуемся следующей формулой:
Пологая x j = у t -1 , y j = у t -1 , получим
(5.1)
Аналогично определяются коэффициенты автокорреляции второго и более высоких порядков. Так, коэффициент автокорреляции 2-го порядка характеризует тесноту связи между уровнями у и у и определяется по формуле:
(5.2)
Порядок уровня ряда автокорреляции называют лагом.
Для формулы (5.1) лаг равен единице, для (5.3) –двум.
Последовательность коэффициентов автокорреляции уровней первого, второго и т.д. порядков называют автокорреляционной функцией временного ряда (АКФ).
График зависимости ее значений от величины лага называется коррелограмой.
АКФ и коррелограмма позволяют определить лаг, при котором автокорреляция наиболее высокая, а, следовательно, и лаг, при котором связь между текущим и предыдущим уровнями ряда наиболее тесная, т.е. с их помощью можно выявить структуру ряда.
Коэффициент автокорреляции и АКФ целесообразно использовать для выявления во временном ряде наличия или отсутствия трендовой компоненты и циклической компоненты:
если наиболее высоким оказался коэффициент автокорреляции 1-го порядка, то исследуемый ряд содержит только тенденцию;
если наиболее высоким оказался коэффициент автокорреляции к-го порядка, то ряд содержит циклические колебания с периодичностью в к-моментов времени;
если, ни один из коэффициентов не является значимым, то можно сделать одно из двух предположений, относительно структуры этого ряда: либо ряд не содержит тенденции и циклических изменений и имеет структуру, сходную со структурой ряда, изображенного на рис.5.1в, либо ряд содержит сильную нелинейную тенденцию, для выявления которой нужно провести дополнительный анализ.
49. Обобщенная модель регрессии. Обобщенный метод наименьших квадратов. Теорема Айткена
При построении модели, например, линейного вида
У = а + b 1 * x 1 + b 2 * x 2 +… + b p * x p + ε (59.1)
случайная величина представляет собой ненаблюдаемую величину. Для разных спецификаций модели разности между теоретическими и фактическими значениями могут меняться. В задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений i т.е. остаточных величин. После построения уравнения регрессии проводится проверка наличия у оценок i некоторых свойств. Эти свойства оценок, полученных МНК, имеют очень важное практическое значение в использовании результатов регрессии и корреляции.
Коэффициенты регрессии b i , найденные на основе системы нормальных уравнений и представляющие собой выборочные оценки характеристики силы связи, должны обладать свойством несмещености. Несмещенность оценки означает, что математическое ожидание остатков равно нулю.
Это означает, что найденный параметр регрессии b i , можно рассматривать как среднее значение возможных значений коэффициентов регрессии с несмещенными оценками остатков.
Для практических целей важны не только несмещенность, но и эффективность оценок. Оценки считаются эффективными,если они характеризуются наименьшей дисперсией.
Для того, чтобы доверительные интервалы параметров регрессии были реальными, необходимо, чтобы оценки были состоятельными. Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки.
Исследования остатков i предполагают проверку наличия следующих пяти предпосылок МНК:
случайный характер остатков;
нулевая средняя величина остатков, не зависящая от х i ;
гомоскедастичность–дисперсия каждого отклонения i одинакова для всех значений х;
отсутствие автокорреляции остатков. Значения остатков i распределены независимо друг от друга;
остатки подчиняются нормальному распределению.
Если распределение случайных остатков i не соответствует некоторым предпосылкам МНК, то следует корректировать модель.
Прежде всего, проверяется случайный характер остатков i .
Если на графике получена горизонтальная полоса распределения остатков, то остатки представляют собой случайные величины и МНК оправдан, теоретические значения у x хорошо аппроксимируют фактические значения у.
Возможны следующие случаи: если i . зависит от у x то:
остатки i . не случайны
остатки i . не имеют постоянной дисперсии
остатки i . носят систематический характер
В этих случаях необходимо либо применить другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки i не будут случайными величинами.
Вторая предпосылка означает равенство нулю средней величины остатков:
. (59.2)
В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора х j остатки i имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность.
50. Доступный обобщенный метод наименьших квадратов
Метод наименьших квадратов.
Некоторые более общие типы регрессионных моделей рассмотрены в разделе Основные типы нелинейных моделей. После выбора модели возникает вопрос: каким образом можно оценить эти модели? Если вы знакомы с методами линейной регрессии (описанными в разделе Множественная регрессия) или дисперсионного анализа (описанными в разделе Дисперсионный анализ), то вы знаете, что все эти методы используют оценивание по методу наименьших квадратов. Основной смысл этого метода заключается в минимизации суммы квадратов отклонений наблюдаемых значений зависимой переменной от значений, предсказанных моделью. (Термин наименьшие квадраты впервые был использован в работе Лежандра - Legendre, 1805.)
Метод взвешенных наименьших квадратов.
Третьим по распространенности методом, в дополнение к методу наименьших квадратов и использованию для оценивания суммы модулей отклонений (см. выше), является метод взвешенных наименьших квадратов. Обычный метод наименьших квадратов предполагает, что разброс остатков одинаковый при всех значениях независимых переменных. Иными словами, предполагается, что дисперсия ошибки при всех измерениях одинакова. Часто, это предположение не является реалистичным. В частности, отклонения от него встречаются в бизнесе, экономике, приложениях в биологии (отметим, что оценки параметров по методу взвешенных наименьших квадратов могут быть также получены с помощью модуля Множественная регрессия).
Например, вы хотите изучить связь между проектной стоимостью постройки здания и суммой реально потраченных средств. Это может оказаться полезным для получения оценки ожидаемых перерасходов. В этом случае разумно предположить, что абсолютная величина перерасходов (выраженная в долларах) пропорциональна стоимости проекта. Поэтому, для подбора линейной регрессионной модели следует использовать метод взвешенных наименьших квадратов. Функция потерь может быть, например, такой (см. книгу Neter, Wasserman, and Kutner, 1985, стр.168):
Потери = (наблюд.-предск.) 2 * (1/x 2)
В этом уравнении первая часть функции потерь означает стандартную функцию потерь для метода наименьших квадратов (наблюдаемые минус предсказанные в квадрате; т.е., квадрат остатков), а вторая равна “весу” этой потери в каждом конкретном случае - единица деленная на квадрат независимой переменной (x) для каждого наблюдения. В ситуации реального оценивания, программа просуммирует значения функции потерь по всем наблюдениям (например, конструкторским проектам), как описано выше и подберет параметры, минимизирующие сумму. Возвращаясь к рассмотренному примеру, чем больше проект (x), тем меньше для нас значит одна и та же ошибка в предсказании его стоимости. Этот метод дает более устойчивые оценки для параметров регрессии (более подробно, см. Neter, Wasserman, and Kutner. 1985).
51. Тест Чоу
Формальный статистический тест для оценки модели тенденции временного ряда при наличии структурных изменений был предложен Грегори Чоу*. Применение этого теста предполагает расчет параметров уравнений трендов. Введем систему обозначений, приведенную в табл.
Таблица 3 –Условные обозначения для алгоритма теста Чоу
Предположим, гипотеза Н0 утверждает структурную стабильность тенденции изучаемого временного ряда. Остаточную сумму квадратов по кусочно-линейной модели (C кл ост) можно найти как сумму С 1 ост и C 2 ост
C кл ост = С 1 ост + C 2 ост (62.1)
Соответствующее ей число степеней свободы составит:
(n 1 - k 1) + (n 2 – k 2) = n – k 1 - k 2 (62.2)
Тогда сокращение остаточной дисперсии при переходе единого уравнения тренда к кусочно-линейной модели определить следующим образом:
DС ост = C 3 ост - С кл ост (62.3)
Число степеней свободы, соответствующее DС с учетом соотношения (23) составит:
n – k 3 - (n – n 1 – k 2) = k 1 + k 2 - k 3 (62.4)
Затем, в соответствии с Г. Чоу методикой Г. Чоу находится фактическое значение F-критерия по следующим дисперсиям на одну степень свободы вариации:
(62.5)
Найденное значение F факт сравнивают с табличным, (таблица распределения Фишера для уровня значимости α ‚ а и числа степеней свободы (k 1 + k 2 – k 3) и (n - k 1 - k 2)
Если F факт > F табл ‚ то гипотеза о структурной стабильности тенденции отклоняется, а влияние структурных измен на динамику изучаемого показателя признают значимым. В этом случае моделирование тенденции временного ряда следует произвести с помощью кусочно-линейной модели. Если
F факт < F табл то нулевая гипотеза структурной стабильности тенденции не отвергается. Ее моделирование следует осуществлять с помощью единого для всей совокупности уравнения тренда.
Особенности применения теста Чоу.
1. Если число параметров во всех уравнениях из таблицы 3 (1), (2), (3) одинаково и равно k, то формула (56) упрощается:
(62.6)
2. Тест Чоу позволяет сделать вывод о наличии или отсутствии структурной стабильности в изучаемом временном ряде. Если F факт < F табл, то это означает, что уравнения (1) и (2) описывают одну и ту же тенденцию, а различия численных оценок их пара метров а 1 и а 2 , а также b 1 и b 2 соответственно статистически не значимы. Если же F факт > F табл то гипотеза о структурной стабильности отклоняется, что означает статистическую значимость различий в оценках параметров уравнений (1) и (2).
З. Применение теста Чоу предполагает соблюдение предпосылок о нормальном распределении остатков в уравнениях (1) и (2) и независимость их распределений.
Если гипотеза о структурной стабильности тенденции ряда у, отклоняется, дальнейший анализ может заключаться в, исследовании вопроса о причинах этих структурных различий и более де 1 изучении характера изменения тенденции. В принятых обозначениях эти причины обусловливают различия в оценках параметров уравнений (1) и (2).
Возможны следующие сочетания изменений числейных оценок параметров этих уравнений:
Изменение численной оценки свободного члена уравнения Тренда а 2 по сравнению с а 1 при условии, что различия b 1 и b 2 статистически незначимы. Геометрически это означает, что прямые (1) (2) параллельны. Происходит скачкообразное изменение уровня ряда у t , в момент времени t ‚ и неизменном среднем абсолютном приросте за период;
Изменение численной оценки параметра b 2 по сравнению с b 1 при условии, что различия между а 1 и а 2 статистически незначимы. Геометрически это означает, что прямые (1) и (2) пересекают ось координат в одной точке. Изменение тенденции происходит посредством изменение среднего абсолютного прироста временного ряда, начиная с момента времени t ‚ при неизменном начальном уровне ряда в момент времени t =0
Изменение численных оценок параметров а 1 и а 2 , а так же b 1 и b 2 . На графике это отображается изменением начального уровня и счреднего за период абсолютного прироста
Периодическая зависимость представляет собой общий тип компонент временного ряда. Можно легко видеть, что каждое наблюдение очень похоже на соседнее; дополнительно, имеется повторяющаяся периодическая составляющая, это означает, что каждое наблюдение также похоже на наблюдение, имевшееся в том же самое время период назад. В общем, периодическая зависимость может быть формально определена как корреляционная зависимость порядка k между каждым i-м элементом ряда и (i-k)-м элементом. Ее можно измерить с помощью автокорреляции (т.е. корреляции между самими членами ряда); k обычно называют лагом (иногда используют эквивалентные термины: сдвиг, запаздывание). Если ошибка измерения не слишком большая, то периодичность можно определить визуально, рассматривая поведение членов ряда через каждые k временных единиц .
Периодические составляющие временного ряда могут быть найдены с помощью коррелограммы. Коррелограмма (автокоррелограмма) показывает численно и графически автокорреляционную функцию (AКФ), иными словами коэффициенты автокорреляции для последовательности лагов из определенного диапазона. На коррелограмме обычно отмечается диапазон в размере двух стандартных ошибок на каждом лаге, однако обычно величина автокорреляции более интересна, чем ее надежность, потому что интерес в основном представляют очень сильные автокорреляции .
При изучении коррелограмм следует помнить, что автокорреляции последовательных лагов формально зависимы между собой. Рассмотрим следующий пример. Если первый член ряда тесно связан со вторым, а второй с третьим, то первый элемент должен также каким-то образом зависеть от третьего и т.д. Это приводит к тому, что периодическая зависимость может существенно измениться после удаления автокорреляций первого порядка, (т.е. после взятия разности с лагом 1).
Цель работы:
1. Дать основные теоретические сведения
2. Дать примеры расчета АКФ
Для полной характеристики случайного процесса недостаточно его математического ожидания и дисперсии. Еще в 1927 г. Е.Е.Слуцкий ввел для зависимых наблюдений понятие «связанного ряда»: вероятность возникновения на определенном месте тех или иных конкретных значений зависит от того, какие значения случайная величина уже получила раньше или будет получать позже. Иными словами, существует поле рассеяния пар значений x(t), x(t+k) временного ряда, где k - постоянный интервал или задержка, характеризующее взаимозависимость последующих реализаций процесса от предыдущих. Теснота этой взаимосвязи оценивается коэффициентами автоковариации –
g (k) = E[(x(t) - m)(x(t + k) - m)] –
и автокорреляции
r (k) = E[(x(t) - m)(x(t + k) - m)] / D ,
где m и D - математическое ожидание и дисперсия случайного процесса. Для расчета автоковариации и автокорреляции реальных процессов необходима информация о совместном распределении вероятностей уровней ряда p(x(t 1),x(t 2)). Однако для стационарных процессов, находящихся в определенном статистическом равновесии, это распределение вероятностей одинаково для всех времен t 1 , t 2 , разделенных одним и тем же интервалом. Поскольку дисперсия стационарного процесса в любой момент времени (как в t, так и в t + k) равна D = g (0), то автокорреляция с задержкой k может быть выражена как
r (k) = g (k) /g (0),
откуда вытекает, что r (0) = 1. В тех же условиях стационарности коэффициент корреляции r (k) между двумя значениями временного ряда зависит лишь от величины временного интервала k и не зависит от самих моментов наблюдений t.
В статистике имеется несколько выборочных оценок теоретических значений автокорреляции r (k) процесса по конечному временному ряду из n наблюдений. Наиболее популярной оценкой является нециклический коэффициент автокорреляции с задержкой k (Андерсон, 1976; Вайну, 1977):
Наиболее важным из различных коэффициентов автокорреляции является первый - r 1 , измеряющий тесноту связи между уровнями x(1), x(2) ,..., x(n -1) и x(2), x(3), ..., x(n).
Распределение коэффициентов автокорреляции неизвестно, позтому для оценки их достоверности иногда используют непараметрическую теорию Андерсона (1976), предложившего статистику
t = r 1 (n -1) 0.5 ,
которая при достаточно большой выборке распределена нормально, имеет нулевую среднюю и дисперсию, равную единице (Тинтнер, 1965).
Последовательность коэффициентов корреляции r k , где k = 1, 2, ..., n, как функция интервала k между наблюдениями называется автокорреляционной функцией (АКФ).
Вид выборочной автокорреляционной функции тесно связан со структурой ряда.
· Автокорреляционная функция r k для «белого шума», при k >0, также образует стационарный временной ряд со средним значением 0.
· Для стационарного ряда АКФ быстро убывает с ростом k. При наличии отчетливого тренда автокорреляционная функция приобретает характерный вид очень медленно спадающей кривой .
· В случае выраженной сезонности в графике АКФ также присутствуют выбросы для запаздываний, кратных периоду сезонности, но эти выбросы могут быть завуалированы присутствием тренда или большой дисперсией случайной компоненты.
Рассмотрим примеры автокорреляционной функции:
· на рис. 1 представлен график АКФ, характеризующегося умеренным трендом и неясно выраженной сезонностью;
· рис. 2 демонстрирует АКФ ряда, характеризующегося феноменальной сезонной детерминантой;
· практически незатухающий график АКФ ряда (рис. 3) свидетельствует о наличии отчетливого тренда.
В общем случае можно предполагать, что в рядах, состоящих из отклонений от тренда, автокорреляции нет. Например, на рис. 4 представлен график АКФ для остатков, полученных от сглаживания ряда, очень напоминающий процесс «белого шума». Однако нередки случаи, когда остатки (случайная компонента h) могут оказаться автокоррелированными, например, по следующим причинам :
· в детерминированных или стохастических моделях динамики не учтен существенный фактор
· в модели не учтено несколько несущественных факторов, взаимное влияние которых оказывается существенным вследствие совпадения фаз и направлений их изменения;
· выбран неправильный тип модели (нарушен принцип контринтуитивности);
· случайная компонента имеет специфическую структуру.
Критерий Дарбина-Уотсона (Durbin, 1969) представляет собой распространенную статистику, предназначенную для тестирования наличия автокорреляции остатков первого порядка после сглаживания ряда или в регрессионных моделях.
Численное значение коэффициента равно
d = [(e(2)-e(1)) 2 + ... + (e(n)-e(n -1)) 2 ]/,
где e(t) - остатки.
Возможные значения критерия находятся в интервале от 0 до 4, причем табулированы его табличные пороговые значения для разных уровней значимости (Лизер, 1971).
Значение d близко к величине 2*(1 - r 1), где r - выборочный коэффициент автокорреляции для остатков. Соответственно, идеальное значение статистики - 2 (автокорреляция отсутствует). Меньшие значения соответствуют положительной автокорреляции остатков, большие – отрицательной .
Например, после сглаживания ряда ряд остатков имеет критерий d = 1.912. Аналогичная статистика после сглаживания ряда - d = 1.638 - свидетельствует о некоторой автокоррелированности остатков.
Все данные взяты с сайта http://e3.prime-tass.ru/macro/
Приведем данные о ВВП РФ
| первая разность |
|||
Исследуем ряд
На диаграммах показаны: исходный ряд (сверху) и автокорреляционная функция до лага 9 (снизу). На нижней диаграмме штриховой линией обозначен уровень «белого шума» - граница статистической значимости коэффициентов корреляции. Видно, что имеется сильная корреляция 1 и 2 порядка, соседних членов ряда, но и удаленных на 1 единицу времени друг от друга. Корреляционные коэффициенты значительно превышают уровень «белого шума». По графику автокорреляции видим наличие четкого тренда.
Ниже даны значения автокорреляционной функции и уровня белого шума
| Ошибка АКФ |
|||
Если нас интересует внутренняя динамика ряда необходимо найти первую разность его членов, т.е. для каждого квартала найти изменение значения по сравнению с предыдущим кварталом. Для первой разности построим автокорреляционную функцию.
| значение |
разность |
|||
Построим автокорреляционную функцию
| Ошибка АКФ |
|||
Видим, что есть автокорреляция 1-го и 2-го порядков. График показывает наличие тренда. Положительная автокорреляция объясняется неправильно выбранной спецификацией, т.к. линейный тренд тут непригоден, он скорее экспоненциальный. Поэтому сделаем ряд стационарным, взяв первую разность.
| Ошибка АКФ |
|||
Видим наличие автокорреляции 4-го порядка, что соответствует корреляции данных, отдаленных на год. Автокорреляцию первого порядка не имеем.
| Статистика Дарбина-Ватсона (DW) =2,023 |
Приведем данные
| значение |
разность |
|||
Для исходного ряда имеем:
| Ошибка АКФ |
|||
Очевидно наличие четкого тренда, значимыми являются коэффициенты автокорреляции 1-го и 2-го порядков. Для первой разности
| Ошибка АКФ |
|||
Автокорреляции уже не видим, остатки распределены как «белый шум».
Другой полезный метод исследования периодичности состоит в исследовании частной автокорреляционной функции (ЧАКФ), представляющей собой углубление понятия обычной автокорреляционной функции. В ЧАКФ устраняется зависимость между промежуточными наблюдениями (наблюдениями внутри лага). Другими словами, частная автокорреляция на данном лаге аналогична обычной автокорреляции, за исключением того, что при вычислении из нее удаляется влияние автокорреляций с меньшими лагами. На лаге 1 (когда нет промежуточных элементов внутри лага), частная автокорреляция равна, очевидно, обычной автокорреляции. На самом деле, частная автокорреляция дает более "чистую" картину периодических зависимостей.
Как отмечалось выше, периодическая составляющая для данного лага k может быть удалена взятием разности соответствующего порядка. Это означает, что из каждого i-го элемента ряда вычитается (i-k)-й элемент. Имеются два довода в пользу таких преобразований. Во-первых, таким образом можно определить скрытые периодические составляющие ряда. Напомним, что автокорреляции на последовательных лагах зависимы. Поэтому удаление некоторых автокорреляций изменит другие автокорреляции, которые, возможно, подавляли их, и сделает некоторые другие сезонные составляющие более заметными. Во-вторых, удаление периодических составляющих делает ряд стационарным, что необходимо для применения некоторых методов анализа.
1. Гмурман В.Е. Теория вероятностей и математическая статистика. М.: Высшая школа, 1977.
2. Гмурман В.Е. Руководство к решению задач по теории вероятностей и математической статистике. М.: Высшая школа, 1997.
3. Калинина В.Н., Панкин В.Ф. Математическая статистика. М.: Высшая школа, 1994.
4. Мацкевич И.П., Свирид Г.П., Булдык Г.М. Сборник задач и упражнений по высшей математике (Теория вероятностей и математическая статистика). Минск: Вышейша школа, 1996.
5. Тимофеева Л.К., Суханова Е.И., Сафиулин Г.Г. Сборник задач по теории вероятностей и математической статистике / Самарск. экон. ин-т. Самара, 1992.
6. Тимофеева Л.К., Суханова Е.И., Сафиулин Г.Г. Теория вероятностей и математическая статистика / Самарск. гос. экон. акад. Самара, 1994.
7. Тимофеева Л.К., Суханова Е.И. Математика для экономистов. Сборник задач по теории вероятностей и математической статистике. –М.: УМиИЦ «Учебная литература», 1998.
А, следовательно, высоко значимые
Коэффициент автокорреляции может быть оценен и для нестационарного ряда, но в этом случае его вероятностная интерпретация теряется.
Фактически, нарушен принцип омнипотентности
Автокорреляционная функция (АКФ) характеризует степень корреляционной связи между отдельными значениями наблюдений, представленными в виде случайного процесса и расположенными на некотором удалении друг от друга.
Применительно к геофизическим данным АКФ представляет характеристику связи между значениями поля, отстоящими друг от друга на m - дискретов, т.е. дискретов по x или по t . АКФ является функцией аргумента или , где - шаг по профилю, - шаг по трассе сейсмограммы, т.е. .
АКФ рассчитывается по формуле:
(4.1)
где - значение поля в i -той точке профиля (трассы, скважины); n – число точек наблюдений; m – интервал, принимающий последовательно значения , которые выражают расстояния между значениями поля и ; - среднее значение поля по профилю, трассе и т.д.
Для m =1, сумма в выражении 4.1 представляет собой сумму произведений центрированных, значений поля соседних точек профиля:
здесь , то есть центрированное значение поля на i - ом пикете профиля;
Для m =2, сумма в выражении 4.1 представляет собой сумму произведений центрированных значений поля, удаленных друг от друга на один пикет:
Для любого m= k , (k
По построению АКФ является четной функцией, т.е. . Ввиду четности АКФ обычно рассчитывается лишь для .
При значение АКФ представляет собой оценку дисперсии изучаемого поля, при АКФ выражает связь значений поля для соседних пикетов (дискретов) и представляет собой оценку коэффициента корреляции для этих значений, при АКФ выражает связь между значениями поля, отстоящими друг от друга на два дискрета и т.д.
На практике часто используются нормированные значения автокорреляционных функций R н. (m) . При этом нормирование осуществляется на R(0) :
(4.5)
Можно показать, что оценка нормированных значений автокорреляционной функции, при достаточном объеме выборки (количестве точек на профиле) обладает следующими свойствами :
3. Автокорреляционная функция является четной, то есть R н. (m)= R н. (-m), поэтому при оценках автокорреляционных функций обычно ограничиваются ее значениями для неотрицательных значений аргумента m>=0.
4.Два случайных процесса F 1 ={f 1 , f 2 ,…..f n } и F 2 ={kf 1 , kf 2 ,…..kf n } отличающиеся только постоянным множителем k, имеют один и тот же вид нормированной автокорреляционной функции R н (m).
5.Два случайных процесса F 1 ={f 1 , f 2 ,…..f n } и F 2 ={f 1 +k, f 2 +k,…..f n +k} смещенные относительно друг друга на постоянную величину k, имеют один и тот же вид нормированной автокорреляционной функции R н (m).
Анализируя выражения 4.1 и 4.5 можно сделать вывод о том, что нормированные значения автокорреляционной функции R н. (m) есть не что иное, как коэффициент корреляции, рассчитанный для точек удаленных друг от друга на m пикетов. Таким образом, значения корреляционной функции, для конкретного аргумента m показывает насколько значения поля, удаленные друг от друга на m пикетов, коррелированны между собой. Так, если R(5)=0.85 , то это свидетельствует о том, что значения поля, удаленные друг от друга на 5 пикетов, в целом, достаточно коррелированны, если R(9)=0.05 , то значения поля удаленные на 9 пикетов практически независимы (некоррелированны). Наконец, если, например, R(13)=-0.9 , то между значениями поля, отстоящими друг от друга на 13 пикетов, существует сильная обратная корреляционная связь. Случайный процесс, для которого даже при единичном смещении R(1)<=0 , получил название абсолютно некоррелируемого процесса (“белый шум”) .
На рисунке 4.1 приведены примеры расчета нормированных автокорреляционных функций для различных случайных процессов, близких по форме к константе (1), синусоиде (2), абсолютно некоррелируемому процессу (3), квадратичной (4) и линейной (5) функциям. Из второго рисунка следует, что автокорреляционная функция периодического процесса является также периодической. При этом период автокорреляционной функции совпадает с периодом процесса. Для абсолютно некоррелируемого сигнала значения автокорреляционной функции близки к нулю при любых значениях аргумента, отличных от нуля.
Нормированные значения автокорреляционной функции постоянного процесса тождественно равны единице, так как при любых смещениях m значения случайного процесса полностью совпадают, то есть абсолютно коррелируемы.
По АКФ определяется такой важный атрибут, как интервал корреляции. Под интервалом
или радиусом корреляции
понимают такое расстояние между значениями поля r
, начиная с которого значения поля и можно считать некоррелированными, а при нормальном законе распределения – независимыми между собой. Для оценки интервала корреляции используются разные эвристические приемы. Наиболее распространенным приемом является оценка величины r по заданному значению , где 
. При этом r
принимается равным аргументу АКФ, m
, начиная с которого выполняется соотношение .
Для оценки интервала корреляции используются также соотношения:
или .
На практике, радиус корреляции оценивают по минимальному значение аргумента m, при котором автокорреляционная функция первый раз пересекает ось абсцисс.
Форма АКФ и интервал корреляции используются при решении различных задач обработки геофизических данных, из них выделим следующие:
1) Оценка корреляционных свойств сигналов и помех. При отсутствии корреляции между сигналом помехой , что обычно постулируется, т.е. появление сигнала не зависит от помехи, АКФ представляется суммой АКФ сигнала и АКФ помехи, поскольку :
Из этого выражения следует, что при малой интенсивности помехи по сравнению с интенсивностью сигнала АКФ представляет оценку корреляционных свойств сигнала, и, наоборот, на интервале, где отсутствует сигнал, АКФ оценивает свойства помехи;
2) АКФ сигнала и помех является основой расчета всех оптимальных фильтров, рассматриваемых в главе VII;
3) При совпадении формы сигнала и формы АКФ помехи никакая дополнительная обработка по их разделению не внесет ничего нового, поскольку при этом частотные диапазоны сигнала и помехи полностью перекрываются между собой;
4) Разделение на однородные в статистическом отношении участки с целью геологического картирования. С этой целью используются обычно одновременно среднее значение, дисперсия и интервал корреляции, рассчитываемые в скользящих окнах;
5) Оценка разрешающей способности сейсмической записи по величине отношения 
, где Т
- период записи. При Н
, близком к единице, разрешающая способность велика, при Н
£0,5 - низкая;
6) Использование интервала корреляции для оценки глубины залегания h объектов по потенциальным полям .
На этом простом соотношении между глубиной h и интервалом корреляции r , точно выполняемом для объектов в виде цилиндров бесконечного простирания, основаны приемы гравитационного, предложенного А.М.Петрищевским, и корреляционного, предложенного А.В.Петровым, зондирований потенциальных полей;
7) Оценка длительности реализации, например, длины профиля, для которой рассчитывается АКФ. В общем случае дисперсия АКФ определяется выражением 
, из которого следует возможность оценивания длительности самой реализации n
.
Понятие автокорреляционных функций сигналов . Автокорреляционная функция (АКФ, CF - correlation function) сигнала s(t), конечного по энергии, является количественной интегральной характеристикой формы сигнала, выявления в сигнале характера и параметров взаимной временной связи отсчетов, что всегда имеет место для периодических сигналов, а также интервала и степени зависимости значений отсчетов в текущие моменты времени от предыстории текущего момента. АКФ определяется интегралом от произведения двух копий сигнала s(t), сдвинутых относительно друг друга на время :
B s () =s(t) s(t+) dt = ás(t), s(t+)ñ = ||s(t)|| ||s(t+)|| cos (). (6.1.1)
Как следует из этого выражения, АКФ является скалярным произведением сигнала и его копии в функциональной зависимости от переменной величины значения сдвига . Соответственно, АКФ имеет физическую размерность энергии, а при = 0 значение АКФ непосредственно равно энергии сигнала и является максимально возможным (косинус угла взаимодействия сигнала с самим собой равен 1):
B s (0)
=
s(t) 2
dt = E s .
АКФ относится к четным функциям, в чем нетрудно убедиться заменой переменной t = t- в выражении (6.1.1):
B s ()
=
s(t-)
s(t) dt = B s (-).
Максимум АКФ, равный энергии сигнала при =0, всегда положителен, а модуль АКФ при любом значении временного сдвига не превосходит энергии сигнала. Последнее прямо вытекает из свойств скалярного произведения (как и неравенство Коши-Буняковского):
ás(t), s(t+)ñ = ||s(t)||||s(t+||cos (),
cos () = 1 при = 0, ás(t), s(t+)ñ = ||s(t)||||s(t)|| = E s ,
cos () < 1 при 0, ás(t), s(t+)ñ = ||s(t)||||s(t+)||cos () < E s .
В
качестве примера на рис. 6.1.1 приведены
два сигнала – прямоугольный импульс и
радиоимпульс одинаковой длительности
Т, и соответствующие данным сигналам
формы их АКФ. Амплитуда колебаний
радиоимпульса установлена равной
амплитуды прямоугольного импульса, при
этом энергии сигналов также будут
одинаковыми, что подтверждается равными
значениями центральных максимумов АКФ.
При конечной длительности импульсов
длительности АКФ также конечны, и равны
удвоенным значениям длительности
импульсов (при сдвиге копии конечного
импульса на интервал его длительности
как влево, так и вправо, произведение
импульса со своей копией становится
равным нулю). Частота колебаний АКФ
радиоимпульса равна частоте колебаний
заполнения радиоимпульса (боковые
минимумы и максимумы АКФ возникают
каждый раз при последовательных сдвигах
копии радиоимпульса на половину периода
колебаний его заполнения).
С учетом четности, графическое представление АКФ обычно производится только для положительных значений . На практике сигналы обычно задаются на интервале положительных значений аргументов от 0-Т. Знак + в выражении (6.1.1) означает, что при увеличении значений копия сигнала s(t+) сдвигается влево по оси t и уходит за 0. Для цифровых сигналов это требует соответствующего продления данных в область отрицательных значений аргумента. А так как при вычислениях интервал задания обычно много меньше интервала задания сигнала, то более практичным является сдвиг копии сигнала влево по оси аргументов, т.е. применение в выражении (6.1.1) функции s(t-) вместо s(t+).
B s ()
= 
s(t)
s(t-)
dt. (6.1.1")
Для финитных сигналов по мере увеличения значения величины сдвига временное перекрытие сигнала с его копией уменьшается, а, соответственно, косинус угла взаимодействия и скалярное произведение в целом стремятся к нулю:
=
0.
АКФ, вычисленная по центрированному значению сигнала s(t), представляет собой автоковариационную функцию сигнала:
C s ()
=
dt, (6.1.2)
где s – среднее значение сигнала. Ковариационные функции связаны с корреляционным функциями достаточно простым соотношением:
C s () = B s () - s 2 .
АКФ сигналов, ограниченных во времени. На практике обычно исследуются и анализируются сигналы, заданные на определенном интервале. Для сравнения АКФ сигналов, заданных на различных временных интервалах, практическое применение находит модификация АКФ с нормировкой на длину интервала. Так, например, при задании сигнала на интервале :
B s ()
=
s(t)
s(t+)
dt. (6.1.3)
АКФ может быть вычислена и для слабозатухающих сигналов с бесконечной энергией, как среднее значение скалярного произведения сигнала и его копии при устремлении интервала задания сигнала к бесконечности:
B s ()
.
(6.1.4)
АКФ по данным выражениям имеет физическую размерность мощности, и равна средней взаимной мощности сигнала и его копии в функциональной зависимости от сдвига копии.
АКФ периодических сигналов. Энергия периодических сигналов бесконечна, поэтому АКФ периодических сигналов вычисляется по одному периоду Т, с усреднением скалярного произведения сигнала и его сдвинутой копии в пределах периода:
B s ()
= (1/Т)
s(t)
s(t-)
dt. (6.1.5)
Математически более строгое выражение:
B s ()
.
При =0 значение нормированной на период АКФ равно средней мощности сигналов в пределах периода. При этом АКФ периодических сигналов является периодической функцией с тем же периодом Т. Так, для сигнала s(t) = A cos( 0 t+ 0) при T=2/ 0 имеем:
B s ()
=
A cos( 0 t+ 0)
A cos( 0 (t-)+ 0)
= (A 2 /2)
cos( 0 ).
(6.1.6)
Функции автоковариации (ФАК) вычисляются аналогично, по центрированным значениям сигнала. Замечательной особенностью этих функций являются их простые соотношения с дисперсией s 2 сигналов (квадратом стандарта - среднего квадратического отклонения значений сигнала от среднего значения). Как известно, значение дисперсии равно средней мощности сигналов, откуда следует:
|C s ()| ≤ s 2 , C s (0) = s 2 ||s(t)|| 2 . (6.1.7)
Значения ФАК, нормированные на значение дисперсии, представляют собой функцию автокорреляционных коэффициентов:
s () = C s ()/C s (0) = C s ()/ s 2 cos ). (6.1.8)
Иногда эту функцию называют "истинной" автокорреляционной функцией. В силу нормировки ее значения не зависят от единиц (масштаба) представления значений сигнала s(t) и характеризуют степень линейной связи между значениями сигнала в зависимости от величины сдвига между отсчетами сигнала. Значения s () cos () могут изменяться от 1 (полная прямая корреляция отсчетов) до -1 (обратная корреляция).
На рис. 6.1.3 приведен пример сигналов s(k) и s1(k) = s(k)+шум с соответствующими этим сигналам коэффициентами ФАК - s и s1 . Как видно на графиках, ФАК уверенно выявила наличие периодических колебаний в сигналах. Шум в сигнале s1(k) понизил амплитуду периодических колебаний без изменения периода. Это подтверждает график кривой C s / s 1 , т.е. ФАК сигнала s(k) с нормировкой (для сопоставления) на значение дисперсии сигнала s1(k), где наглядно можно видеть, что шумовые импульсы при полной статистической независимости своих отсчетов вызвали увеличение значения С s1 (0) по отношению к значению C s (0) и несколько "размыли" функцию коэффициентов автоковариации. Это вызвано тем, что значение s () шумовых сигналов стремится к 1 при 0 и флюктуирует относительно нуля при ≠ 0, при этом амплитуды флюктуаций статистически независимы и зависят от количества выборок сигнала (стремятся к нулю при увеличении количества отсчетов).
АКФ дискретных сигналов. При интервале дискретизации данных t = const вычисление АКФ выполняется по интервалам = t и обычно записывается, как дискретная функция номеров n сдвига отсчетов n:
B s (nt)
= t
s k s k-n .
(6.1.9)
Дискретные сигналы обычно задаются в виде числовых массивов определенной длины с нумерацией отсчетов к = 0,1,…К при t=1, а вычисление дискретной АКФ в единицах энергии выполняется в одностороннем варианте с учетом длины массивов. Если используется весь массив сигнала и число отсчетов АКФ равно числу отсчетов массива, то вычисление выполняется по формуле:
B s (n)
=
s k s k-n .
(6.1.10)
Множитель K/(K-n) в данной функции является поправочным коэффициентом на постепенное уменьшение числа перемножаемых и суммируемых значений по мере увеличения сдвига n. Без этой поправки для нецентрированных сигналов в значениях АКФ появляется тренд суммирования средних значений. При измерениях в единицах мощности сигнала множитель К/(K-n) заменяется на множитель 1/(K-n).
Формула (6.1.10) применяется довольно редко, в основном для детерминированных сигналов с небольшим числом отсчетов. Для случайных и зашумленных сигналов уменьшение знаменателя (K-n) и числа перемножаемых отсчетов по мере увеличения сдвига приводит к нарастанию статистических флюктуаций вычисления АКФ. Большую достоверность в этих условиях обеспечивает вычисление АКФ в единицах мощности сигнала по формуле:
B s (n)
=
s k s k-n ,
s k-n
= 0 при
k-n < 0, (6.1.11)
т.е. с нормированием на постоянный множитель 1/K и с продлением сигнала нулевыми значениями (в левую сторону при сдвигах k-n или в правую сторону при использовании сдвигов k+n). Эта оценка является смещенной и имеет несколько меньшую дисперсию, чем по формуле (6.1.10). Разницу между нормировками по формулам (6.1.10) и (6.1.11) можно наглядно видеть на рис. 6.1.4.
Формулу (6.1.11) можно рассматривать, как усреднение суммы произведений, т.е. как оценку математического ожидания:
B s (n)
= M{s k
s k - n }
.
(6.1.12)
Практически, дискретная АКФ имеет такие же свойства, как и непрерывная АКФ. Она также является четной, а ее значение при n = 0 равно энергии или мощности дискретного сигнала в зависимости от нормировки.
АКФ зашумленных сигналов . Зашумленный сигнал записывается в виде суммы v(k) = s(k)+q(k). В общем случае, шум не обязательно должен иметь нулевое среднее значение, и нормированная по мощности автокорреляционная функция цифрового сигнала, содержащая N – отсчетов, записывается в следующем виде:
B v (n) = (1/N) s(k)+q(k), s(k-n)+q(k-n) =
= (1/N) [s(k), s(k-n) + s(k), q(k-n) + q(k), s(k-n) + q(k), q(k-n)] =
B s (n) + M{s k q k-n } + M{q k s k-n } + M{q k q k-n }.
B v (n)
= B s (n)
+
+
+
.
(6.1.13)
При статистической независимости полезного сигнала s(k) и шума q(k) с учетом разложения математического ожидания
M{s k
q k-n } =
M{s k }
M{q k-n } =
может использоваться следующая формула:
B v (n)
= B s (n)
+ 2
+
.
(6.1.13")
Из
формул (6.1.13) следует, что АКФ зашумленного
сигнала состоит из АКФ сигнальной
компоненты полезного сигнала с наложенной
затухающей до значения 2
+
шумовой
функцией. При больших значениях K, когда
→
0, имеет местоB v (n)
B s (n).
Это дает возможность не только выделять
по АКФ периодические сигналы, практически
полностью скрытые в шуме (мощность шумов
много больше мощности сигнала), но и с
высокой точностью определять их период
и форму в пределах периода, а для
одночастотных гармонических сигналов
– и их амплитуду с использованием
выражения (6.1.6).
Таблица 6.1.
|
Сигнал Баркера |
АКФ сигнала |
|
|
1, 1, 1, -1, -1, 1, -1 |
7, 0, -1, 0, -1, 0, -1 |
|
|
1,1,1,-1,-1,-1,1,-1,-1,1,-1 |
11,0,-1,0,-1,0,-1,0,-1,0,-1 |
|
|
1,1,1,1,1,-1,-1,1,1-1,1,-1,1 |
13,0,1,0,1,0,1,0,1,0,1,0,1 |
Автокорреляционная функция - зависимость взаимосвязи между функцией (сигналом) и ее сдвинутой копией от величины временного сдвига.
Для детерминированных сигналов автокорреляционная функция (АКФ ) сигнала f (t) {\displaystyle f(t)} определяется интегралом :
Ψ (τ) = ∫ − ∞ ∞ f (t) f ∗ (t − τ) d t {\displaystyle \Psi (\tau)=\int _{-\infty }^{\infty }f(t)f^{*}(t-\tau)\mathrm {d} t} K (τ) = E { X (t) X ∗ (t − τ) } {\displaystyle K(\tau)=\mathbb {E} \{X(t)X^{*}(t-\tau)\}} ,где E { } {\displaystyle \mathbb {E} \{\ \}} - математическое ожидание , звездочка означает комплексное сопряжение.
Если исходная функция строго периодическая , то на графике автокорреляционной функции тоже будет строго периодическая функция. Таким образом, из этого графика можно судить о периодичности исходной функции, а следовательно, и о её частотных характеристиках. Автокорреляционная функция применяется для анализа сложных колебаний , например, электроэнцефалограммы человека.
1 / 3
Автокорреляционная функция
Что такое Автокорреляция?
Частная автокорреляционная функция
К сожалению, коэффициенты процесса скользящего среднего плохо интерпретируемы. Что означает 2ε(t- 1) + 3ε(t- 2) совершенно непонятно. И для интерпретации используют так называемую автокорреляционную функцию процесса: ρk или Corr(Yt, Yt- k) - эта функция называется автокорреляционной функцией процесса. По смыслу для стационарного процесса с нормально распределенными игриками ρk показывает, насколько в среднем изменится сегодняшний Y, если Y k-периодов назад, то есть Yt- k, вырос на 1. Давайте на примере того же самого МА (2)-процесса, процесса скользящего среднего порядка 2, посчитаем и проинтерпретируем автокорреляционную функцию на этот раз. Значит, нас интересует ρk, то есть это Corr (корреляция) между Yt и Y k-периодов назад. Сначала мы заметим какие-то общие соображения, как считать автокорреляционную функцию для любого процесса. По определению корреляции: Corr(Yt, Yt- k) это есть Cov(Yt, Yt- k), деленная на корень из произведения дисперсий: Var(Yt) * Var(Yt- k). Однако у нас стационарный процесс. Здесь мы пользуемся тем, что процесс стационарный, а именно – у него дисперсии одинаковые. Var(Yt) = Var (Yt -k). Ну, соответственно, раз эти две дисперсии равны, то корень из них просто равен - одной из них, любой - Cov(Yt, Yt- k) в числителе так и остается, а в знаменателе корень из произведения двух одинаковых чисел дает просто первое из этих чисел. И, соответственно, мы договорились, что вот это - это автоковариационная функция - это γk, а это дисперсия или γ0. Соответственно, мы получили, что ρk, на самом деле, автокорреляционная функция. Это просто отмасштабированная автоковариационная. Я напомню предыдущие результаты. В предыдущем упражнении мы выяснили, что γk = 14ς квадрат, если k = 0, это дисперсия; - 3ς квадрат, если k = 1;- 2ς квадрат, если k = 2 и 0 при больших значениях k, а именно больше либо равным 3. Исходя из общей формулы, мы получаем, что ρ0 - это и есть γ0 на γ0, это всегда 1 для любого процесса, поэтому это неинтересный показатель, а вот остальные уже более интересные. ρ1- это есть γ1/γ0, в нашем случае мы получаем- 3/14. ρ2 - это есть γ2/γ0, это есть - 2/14. И, соответственно, ρ3 = ρ4 =... = 0. Соответственно, мы можем проинтерпретировать эти коэффициенты. Что означает ρ1? Он означает, что если нам известно, что Yt-1 (вчерашний Y) вырос на одну единицу, то это приводит к тому, что в среднем Yt падает на 3/14. Это мы можем проинтерпретировать ρ1. Ну и, соответственно, ρ2 мы интерпретируем аналогично. Если известно, что Yt- 2 (то есть позавчерашнее значение Y) оказалось, скажем, больше среднего на 1, то есть по сравнению с каким-то средним значением выросло на одну единицу, то мы можем сделать вывод, что Yt в среднем упадет на 2/14. Это мы интерпретируем вот этот коэффициент. Ну а, соответственно, ρ3, ρ4 и так далее интерпретируется следующим образом, что информация о значении Yt- 3 она уже не несет никакой информации о текущем Yt и, в частности, бесполезна при прогнозировании. А вот предыдущие два значения они нам важны.
Корреляционные свойства кодовых последовательностей, используемых в широкополосных системах, зависят от типа кодовой последовательности, её длины, частоты следования её символов и от её посимвольной структуры.
Изучение АКФ играет важную роль при выборе кодовых последовательностей с точки зрения наименьшей вероятности установления ложной синхронизации.
Автокорреляционная функция играет важную роль в математическом моделировании и анализе временных рядов, показывая характерные времена для исследуемых процессов (см., например: Турчин П. В. Историческая динамика. М.: УРСС , 2007. ISBN 978-5-382-00104-3). В частности, циклам в поведении динамических систем соответствуют максимумы автокорреляционной функции некоторого характерного параметра.
Часто приходится вычислять автокорреляционную функцию для временного ряда x i {\displaystyle x_{i}} . Вычисление «в лоб» работает за O (T 2) {\displaystyle O(T^{2})} . Однако есть способ сделать это за .
Суть этого способа состоит в следующем. Можно сделать некое обратное взаимно однозначное преобразование данных, называемое преобразованием Фурье, которое поставит им во взаимно однозначное соответствие набор данных в другом пространстве, называемом пространством частот. У операций над данными в нашем обычном пространстве, таких как сложение, умножение и, главное, автокорреляция, есть взаимно-однозначные соответствия в пространстве частот Фурье. Вместо того, чтобы вычислять автокорреляцию «в лоб» на наших исходных данных, мы произведем соответствующую ей операцию над соответствующими данными в пространстве частот Фурье-спектра, что делается за линейное время O(T) - автокорреляции в пространстве частот соответствует простое умножение. После этого мы по полученным данным восстановим соответствующие им в обычном пространстве. Переход из обычного пространства в пространство частот и обратно делается с помощью быстрого преобразования Фурье за O (T log T) {\displaystyle O(T\log T)} , вычисление аналога автокорреляции в пространстве частот - за O(T). Таким образом, мы получили выигрыш по времени при вычислениях. и прямо пропорциональна первым n {\displaystyle n} элементам последовательности
Ψ (τ) ∼ Re fft − 1 (| fft (x →) | 2) {\displaystyle \Psi (\tau)\sim \operatorname {Re} \operatorname {fft} ^{-1}\left(\left|\operatorname {fft} ({\vec {x}})\right|^{2}\right)}Квадрат комплексного модуля берётся поэлементно: | a → | 2 = { Re 2 a i + Im 2 a i } {\displaystyle \left|{\vec {a}}\right|^{2}=\left\{\operatorname {Re} ^{2}a_{i}+\operatorname {Im} ^{2}a_{i}\right\}} . Если нет погрешностей вычисления, мнимая часть будет равна нулю. Коэффициент пропорциональности определяется из требования Ψ (0) = 1 {\displaystyle \Psi (0)=1} .
