С автокорреляцией остатков

Вернемся еще раз к предположению (3.3). Из него, в частности, следует, что ковариации случайной ошибки для разных наблюдений равны нулю. Если к тому же случайные ошибки распределены нормально, то это означает их попарную независимость.

Однако регрессионные модели в экономике часто содержат стохастические зависимости между значениями случайных ошибок – автокорреляцию ошибок . Ее причинами являются: во-первых, влияние некоторых случайных факторов или опущенных в уравнении регрессии важных объясняющих переменных, которое не является однократным, а действует в разные периоды времени; во-вторых, случайный член может содержать составляющую, учитывающую ошибку измерения объясняющей переменной.

Применение к модели с автокорреляцией остатков обыкновенного МНК приведет к следующим последствиям :

1. Выборочные дисперсии полученных оценок коэффициентов будут больше по сравнению с дисперсиями по альтернативным методам оценивания, т.е. оценки коэффициентов будут неэффективны.

2. Стандартные ошибки коэффициентов будут оценены неправильно, чаще всего занижены, иногда настолько, что нет возможности воспользоваться для проверки гипотез соответствующими точными критериями – мы будем чаще отвергать гипотезу о незначимости регрессии, чем это следовало бы делать в действительности.

3. Прогнозы по модели получаются неэффективными.

На практике исследователь в этом случае поставлен перед проблемой тестирования наличия в модели автокорреляции, а также выявления причины автокорреляции при ее обнаружении: или в модели опущена существенная переменная, или структура ошибок зависит от времени. То есть, исследование остатков позволяет судить о правильности модели и ее пригодности для прогнозирования.

Простейшим способом проверки наличия автокорреляции является графическое изображение остатков e i . Возможно построение:

· графика временной последовательности, если остатки получены в разные моменты времени;

· графика зависимости остатков от значений , полученных по регрессии;

· графиков зависимости остатков от объясняющих переменных.

Если изображение остатков представляет собой горизонтальную полосу, это указывает на отсутствие каких-либо проблем, связанных с моделью. В противном случае в зависимости от вида и типа графика можно получить информацию о: неадекватности модели, ошибочности расчетов, необходимости включения в модель линейного или квадратичного члена от времени; наконец о непостоянстве дисперсии.

Ясно, что ошибки могут коррелировать по-разному, однако без нарушения общности можно рассматривать так называемую сериальную корреляцию (автокорреляцию), когда зависимость между ошибками, отстоящими на некоторое количество шагов s , называемое порядком корреляции (в частности, на один шаг, s =1), остается одинаковой, что хорошо проявляется визуально на графике в системе координат (e i ; e i - s ). Например, для s =1 на рис. 4.2 показаны отрицательная (слева) и положительная (справа) автокорреляция остатков. В экономических исследованиях чаще всего встречается положительная автокорреляция.

Рис. 4.2. Автокорреляция остатков

Более достоверным способом проверки существования автокорреляции является применение статистических критериев. Хорошо известны два – критерий знаков (относится к непараметрическим критериям) и критерий Дарбина-Уотсона .

Для проведения проверки по критерию знаков необходимо расположить остатки e i во временной последовательности, выписать их знаки, подсчитать число образующихся при этом серий n u из одинаковых знаков, а также n 1 – число остатков со знаком плюс и n 2 – число остатков со знаком минус. Далее определяется вероятность Pr (n u ) появления n u групп при нулевой гипотезе – последовательность остатков полностью случайна (автокорреляция отсутствует). Если Pr (n u ) < 1–a , где a – уровень доверия, то нулевая гипотеза отвергается.

Для ускорения расчетов для выборок с n 1 , n 2 не больше 20 составлены таблицы с критическими значениями n u при уровне доверия a =0,05.

Для больших выборок истинное распределение ошибок достаточно точно аппроксимируется нормальным со средним m =2n 1 n 2 /(n 1 +n 2)+1 и дисперсией s 2 =2n 1 n 2 (2n 1 n 2 – n 1 – n 2)/(n 1 + n 2) 2 /(n 1 + n 2 – 1), а величина z =(u – m + 0,5)/s подчиняется нормированному нормальному распределению, следовательно, критические значения n u могут быть вычислены по формулам (m + z a s ) и (m – z a s ), где z a определяется из условия F 0 (z a )=(1–a )/2 (значения даны в справочниках).

Пример . Получены остатки 0,6; 1,9; –1,8; –2,7; –2,9; 1,4; 3,3; 0,3; 0,8; 2,3; –1,4; –1,1, которые обнаруживают следующую последовательность знаков + + – – – + + + + + – –. Имеем n u =4, n 1 =7, n 2 =5. По таблице находим критические значения для n u : 3 и 11. Так как 3 < n u < 11, то нулевая гипотеза принимается, то есть остатки независимы и автокорреляция отсутствует.Ñ

Критерий знаков достаточно прост и не использует информацию о величине e i , и поэтому недостаточно эффективен.

Для проверки гипотезы о существовании линейной автокорреляции первого порядка, которая чаще всего имеет место на практике, предпочтителен критерий Дарбина-Уотсона , основанный на статистике:

(4.9)

Значения первых разностей ошибки в (4.9) будут обнаруживать тенденцию к уменьшению по абсолютной величине по сравнению с абсолютными значениями e i при положительной автокорреляции и к увеличению при отрицательной автокорреляции.

Для статистики d имеются верхний d U и нижний d L пределы уровня значимости. Различные статистические решения для нулевой гипотезы H 0: автокорреляция равна нулю, даны в табл. 4.3. При этом появляются области неопределенности, так как величина e i зависит не только от значений u , но и от значений последовательных X .

Следует отметить, что критерий Дарбина-Уотсона предназначен для моделей с детерминированными (нестохастическими) регрессорами X и не применим, например, в случаях, когда среди объясняющих переменных есть лаговые значения переменной Y .

Таблица 4.3

Области статистических решений для критерия Дарбина-Уотсона

Пример . Для примера 1 из п. 3.2 n =20, k =2 имеем табл. 4.4.

Значения d L и d U при уровне значимости 5% получим из справочника при n =20 и k =2: d L =1,10, d U =1,54.

Так как d >2, то вычисляем 4–d U =2,46 и 4–d L =2,90 и 2<d <4–d U .

Согласно табл. 4.3 гипотеза о равенстве нулю автокорреляции принимается. Ñ

Какой бы тест на автокорреляцию не использовался, необходимо помнить, что рекомендуется в случаях неопределенности (см. табл. 4.3) принимать гипотезу о наличии автокорреляции, поскольку это гарантирует от отрицательных последствий автокорреляции. В случаях же некорректного принятия гипотезы о равенстве нулю автокорреляции получаем модель, которая не может иметь удовлетворительного применения, хотя формально проходит все проверки.

Таблица 4.4

Вычисление значения статистики d

Ошибка e i	e i 2	e i-1	(e i -e i-1 ) 2	Ошибка e i	e i 2	e i -1	(e i -e i -1) 2
-2,49	6,20			-0,68	0,46	-8,72	64,64
-1,86	3,46	-2,49	0,40	5,27	27,72	-0,68	35,40
31,93	1019,21	-1,86	1141,76	-5,29	27,93	5,27	111,51
-3,18	10,11	31,93	1232,71	-16,74	280,23	-5,29	131,10
-2,17	4,71	-3,18	1,02	8,94	79,87	-16,74	659,46
-18,38	337,64	-2,17	262,76	-3,57	12,74	8,94	156,50
-3,45	11,90	-18,38	222,90	5,18	26,79	-3,57	76,56
5,58	31,14	-3,45	81,54	7,72	59,60	5,18	6,45
-3,11	9,67	5,58	75,52	-0,85	0,72	7,72	73,44
-8,72	76,04	-3,11	31,47	4,85	23,47	-0,85	32,49
Сумма					2050,37		4397,66

Рассмотрим методы оценивания уравнения регрессии при наличии автокорреляции остатков.

Пусть имеем обобщенную линейную модель множественной регрессии в виде (4.3)-(4.7) с гомоскедастичными остатками .

Предположим, что остатки u i удовлетворяют следующему уравнению:

u i =ru i -1 +e i , i =2,...,n , (4.10)

E (e i )=0; (4.11)

Тогда несложно показать, что будет выполняться:

. (4.12)

Условие (4.12) является аналогом (4.5) и фактически означает гомоскедастичность дисперсии случайного члена (первая строчка) и автокорреляцию первого порядка (вторая строчка). Ясно, что если бы было известно значение r в (4.10) и затем в (4.12), то можно было бы применить ОМНК (элементы матрицы W в этом случае вычисляются согласно (4.12)) и получить эффективные оценки коэффициентов регрессии. Однако на практике значение r в большинстве случаев не известно, поэтому используются следующие методы оценивания регрессионной модели.

Метод 1 . Отказавшись от определения величины r , являющейся узким местом модели, статистически, можно положить r =0,5; 1 или -1. Однако даже грубая статистическая оценка будет, видимо, более эффективной, поэтому другой способ определения r с помощью статистики Дарбина-Уотсона r»1–0,5d . Применяя затем непосредственно ОМНК, получим оценки коэффициентов.

Метод 2 . Если значение r в (4.12) задано, то альтернативная схема отыскания оценок коэффициентов модели множественной регрессии суть (в целях упрощения, не нарушая общности, иллюстрация метода дана для случая парной регрессии):

а) Запишем уравнение модели для случая i и i –1:

Вычтем из обеих частей первого уравнения умноженное на r второе уравнение:

или переобозначив:

с учетом (4.10) , получим модель

, (4.13)

для случайного члена которой выполняется условие (4.11), т.е. автокорреляция отсутствует. При указанном преобразовании первое наблюдение умножается на , т.е. , .

б) Применяем обыкновенный МНК к модели (4.13).

В общем случае мы не располагаем информацией о порядке автокорреляции и значениях параметров в авторегрессионном уравнении, а значит, и методы 1 и 2 не дадут искомого результата.

Тем не менее, оценки коэффициентов можно найти приближенно с помощью следующих методов (опять в целях упрощения, не нарушая общности, иллюстрация методов дана для случая парной регрессии).

Метод 3 . Итеративная процедура Кохрейна-Оркатта.

а) Оценивается регрессия с исходными не преобразованными данными с помощью обыкновенного МНК.

б) Вычисляются остатки e i .

в) Оценивается регрессия e i =re i -1 +e i , и коэффициент при e i -1 дает оценку r .

г) С учетом полученной оценки r уравнение преобразовывается к виду (4.13), оценивание которого позволяет получить пересмотренные оценки коэффициентов b 0 и b 1 .

д) Вычисляются остатки регрессии (4.13) и процесс выполняется снова, начиная с этапа в).

Итерации заканчиваются, когда абсолютные разности последовательных значений оценок коэффициентов b 0 , b 1 и r будут меньше заданного числа (точности).

Подобная процедура оценивания порождает проблемы, касающиеся сходимости итерационного процесса и характера найденного минимума: локальный или глобальный.

Метод 4. Метод Хилдрета-Лу основан на тех же принципах, что и рассмотренный метод 3, но использует другой алгоритм вычислений. Здесь регрессия (4.13) оценивается МНК для каждого значения r из диапазона [-1, 1] с некоторым шагом внутри него. Значение, которое дает минимальную стандартную ошибку для преобразованного уравнения (4.13), принимается в качестве оценки r , а коэффициенты регрессии определяются при оценивании уравнения (4.13) с использованием этого значения.

Метод 5. Дарбиным была предложена простая схема, дающая эффективные оценки коэффициентов:

а). Подставляя (4.10) в модель Y i =b 0 +b 1 X i +u i , получим с учетом u i - 1 = Y i -1 - b 0 - b 1 X i -1:

Y i =b 0 (1-r )+rY i -1 +b 1 (X i - rX i -1) + e i ,

где ошибка e i удовлетворяет (4.11). Применяя обыкновенный МНК к последней модели, получаем оценку r как коэффициента при Y i -1 .

б). Вычисляем значения преобразованных переменных и применяем к ним обыкновенный МНК. Получаем искомые оценки коэффициентов регрессии.

Достоинством метода является простота его распространения на случай автокорреляции более высокого порядка.

Как показывают эксперименты, проведенные для малых выборок, лучшим является двухшаговый метод 2, использующий оценку r , полученную по методу, предложенному Дарбиным (метод 5 шаг а)).

Определение автокорреляции Автокорреляция (последовательная корреляция) – это корреляция между наблюдаемыми показателями во времени (временные ряды) или в пространстве (перекрестные данные). Автокорреляция остатков характеризуется тем, что не выполняется предпосылка 3 0 использования МНК:

Причины чистой автокорреляции 1. Инерция. Трансформация, изменение многих экономических показателей обладает инерционностью. 2. Эффект паутины. Многие экономические показатели реагируют на изменение экономических условий с запаздыванием (временным лагом) 3. Сглаживание данных. Усреднение данных по некоторому продолжительному интервалу времени.

Пример влияния автокорреляции на случайную выборку Рассмотрим выборку из 50 независимых нормально распределенных с нулевым средним значений i. С целью ознакомления с влиянием автокорреляции будем вводить в нее положительную, а затем отрицательную автокорреляцию.

Dependent Variable: LGHOUS Method: Least Squares Sample: Included observations: 45 ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C LGDPI LGPRHOUS ============================================================ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criter Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) ============================================================ АВТОКОРРЕЛЯЦИЯ ПРИМЕР Зависимость расходов на жилье от располагаемого дохода и индекса цен на жилье

Последствия автокорреляции 1. Истинная автокорреляция не приводит к смещению оценок регрессии, но оценки перестают быть эффективными. 2. Автокорреляция (особенно положительная) часто приводит к уменьшению стандартных ошибок коэффициентов, что влечет за собой увеличение t-статистик. 3. Оценка дисперсии остатков S e 2 является смещенной оценкой истинного значения e 2, во многих случаях занижая его. 4. В силу вышесказанного выводы по оценке качества коэффициентов и модели в целом, возможно, будут неверными. Это приводит к ухудшению прогнозных качеств модели.

Автокорреляционная функция AutocorrelationPartial CorrelationAC PAC Q-Stat Prob. |*******. |******* |******|. |. | |******|. |. | |***** |. |. | |***** |. |. | |**** |. |. | |**** |. |. | |*** |. |. | |*** |. |. | |*** |. |. | |** |. |. | |** |. |. | |*. |. |. | |*. |. |. | |. |. |. | |. |. |. | |. |. |. | *|. |. |. | *|. |. |. | *|. |. |. |

Dependent Variable: LGHOUS Method: Least Squares Sample: Included observations: 45 ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C LGDPI LGPRHOUS ============================================================ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criter Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) ============================================================ 3 Расходы на жилье в зависимости от доходов и реальных цен

14 Противоположный эффект в 1960 to Расходы на жилье в зависимости от доходов и реальных цен

Критерий знаков Проверяемая гипотеза: H0: автокорреляция отсутствует Последовательность проведения критерия 1.Вычислить остатки 2.Приписать каждому остатку знак (+/-) 3.Построить ряд знаков При истинности гипотезы ряд должен носить случайный характер распределения 4.Подсчитать общее количество серий (последовательностей постоянного знака) - (n) 5.Подсчитать длину самой длинной серии - (n) 6.Сравнить полученные значения с критическими

Критерий знаков Проверяемая гипотеза: H0: автокорреляция отсутствует Приблизительный критерий проверки гипотезы на уровне значимости 2,5% 5,0% : При истинности гипотезы должна выполняться система неравенств: подробности см. в учебнике Айвазян, Мхитарян «Прикладная статистика и основы эконометрики»

Критерий восходящих и нисходящих серий Проверяемая гипотеза: H0: автокорреляция отсутствует Последовательность проведения критерия 1.Вычислить остатки 2.Вычислить разницу между соседними остатками, t =e t+1 -e t 3.Приписать каждой разнице у знак (+/-) 4.Построить ряд знаков При отсутствии автокорреляции ряд должен носить случайный характер 5.Подсчитать общее количество серий (последовательностей постоянного знака) - (n) 6.Подсчитать длину самой длинной серии - (n) 7.Сравнить полученные значения с критическими

Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует Последовательность проведения критерия 1.Вычислить остатки 2.Вычислить следующие статистики: 3.Сравнить полученные значения (n) с критическим – при нулевой гипотезе (n)> * При n> * При n>60 кр"> * При n>60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):"> * При n>60 кр" title="Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует Последовательность проведения критерия 1.Вычислить остатки 2.Вычислить следующие статистики: 3.Сравнить полученные значения (n) с критическим – при нулевой гипотезе (n)> * При n>60 кр"> title="Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует Последовательность проведения критерия 1.Вычислить остатки 2.Вычислить следующие статистики: 3.Сравнить полученные значения (n) с критическим – при нулевой гипотезе (n)> * При n>60 кр">

60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):" title="Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует 3.Сравнить полученные значения с критическими При n>60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):" class="link_thumb"> 56 Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует 3.Сравнить полученные значения с критическими При n>60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона): 60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):"> 60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):"> 60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):" title="Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует 3.Сравнить полученные значения с критическими При n>60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):"> title="Критерий Аббе Проверяемая гипотеза: H0: автокорреляция отсутствует 3.Сравнить полученные значения с критическими При n>60 критическая точка уровня рассчитывается по формуле (u - критическая точка стандартного нормального закона):">

Тест Дарбина-Уотсона. Ограничения Ограничения: 1. Тест не предназначен для обнаружения других видов автокорреляции (более чем первого) и не обнаруживает ее. 2. В модели должен присутствовать свободный член. 3. Данные должны иметь одинаковую периодичность (недолжно быть пропусков в наблюдениях). 4. Тест не применим к авторегрессионным моделям, содержащих в качестве объясняющей переменной зависимую переменную с единичным лагом:

Критические точки распределения Дарбина-Уотсона Для более точного определения, какое значение DW свидетельствует об отсутствии автокорреляции, а какое – о ее наличии, построена таблица критических точек распределения Дарбина-Уотсона. По этой таблице для заданного уровня значимости, числа наблюдений n и количества объясняющих переменных m определяются два значения: d l – нижняя граница, d u – верхняя граница

Расположение критических точек распределения Дарбина-Уотсона При положительной корреляции: При отрицательной корреляции: При отсутствии корреляции: 24 0 dLdL dUdU d crit Положительная автокорреляция Отрицательная автокорреляция Отсутствие автокорреляции d crit 4-d L 4-d U

Dependent Variable: LGHOUS Method: Least Squares Sample: Included observations: 45 ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C LGDPI LGPRHOUS ============================================================ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criter Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) ============================================================ Как и следовало ожидать- имеем положительную автокорреляцию остатков ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ ПРОЦЕССА AR(1) dLdL dUdU (n = 45, k = 3, 1% level)

Устранение автокорреляции первого порядка. Обобщения Рассмотренное авторегрессионное преобразование может быть обобщено на: 1) Произвольное число объясняющих переменных 2) Преобразования более высоких порядков AR(2), AR(3) и т.д.: Однако на практике значения коэффициента автокорреляции обычно неизвестны и его необходимо оценить. Существует несколько методов оценивания.

Итеративная процедура Кохрейна-Оркатта (на примере парной регрессии) 1. Определение уравнения регрессии и вектора остатков: 2. В качестве приближенного значения берется его МНК-оценка: 3. Для найденного * оцениваются коэффициенты 0 1: 4. Подставляем в (*) и вычисляем Возвращаемся к этапу 2. Критерий остановки: разность между текущей и предыдущей оценками * стала меньще заданной точности.

Итеративная процедура Хилдрета-Лу (поиск по сетке) 1. Определение уравнения регрессии и вектора остатков: 2. Оцениваем регрессию для каждого возможного значения [ 1,1] с некоторым достаточно малым шагом, например 0,001; 0,01 и т.д. 3. Величина *, обеспечивающая минимум стандартной ошибки регрессии принимается в качестве оценки автокорреляции остатков.

Итеративные процедуры оценивания коэффициента. Выводы 1. Сходимость процедур достаточно хорошая. 2. Метод Кохрейна-Оркатта может «попасть» в локальный (а не глобальный) минимум. 3. Время работы процедуры Хилдрета-Лу значительно сокращается при наличии априорной информации об области возможных значений. Процедура Дарбина представляет собой традиционный МНК снелинейными ограничениями типа равенств: Способы решения: 1. Решать задачу нелинейного программирования. 2. Двухшаговый МНК Дарбина (полученный коэффициент автокорреляции используется в поправке Прайса-Винстена). 3. Итеративная процедура расчета. Процедура Дарбина (на примере парной регрессии)

Процедура Дарбина Ограничения на коэффициенты записываются в явном виде ============================================================ Dependent Variable: LGHOUS Method: Least Squares Sample(adjusted): LGHOUS=C(1)*(1-C(2))+C(2)*LGHOUS(-1)+C(3)*LGDPI-C(2)*C(3) *LGDPI(-1)+C(4)*LGPRHOUS-C(2)*C(4)*LGPRHOUS(-1) ============================================================ Coefficient Std. Error t-Statistic Prob. ============================================================ C(1) C(2) C(3) C(4) ============================================================ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criter Sum squared resid Schwarz criterion Log likelihood Durbin-Watson stat ============================================================

Dependent Variable: LGHOUS Method: Least Squares Sample(adjusted): Included observations: 44 after adjusting endpoints Convergence achieved after 21 iterations ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C LGDPI LGPRHOUS AR(1) ============================================================ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criter Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) ============================================================ Либо в список регрессоров включается авторегриссионный член 1 порядка AR(1) Процедура Дарбина

Dependent Variable: LGHOUS LGHOUS=C(1)*(1-C(2))+C(2)*LGHOUS(-1)+C(3)*LGDPI-C(2)*C(3) *LGDPI(-1)+C(4)*LGPRHOUS-C(2)*C(4)*LGPRHOUS(-1) ============================================================ Coefficient Std. Error t-Statistic Prob. ============================================================ C(1) C(2) C(3) C(4) ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C LGDPI LGPRHOUS AR(1) ============================================================ Процедура Дарбина

Итеративная процедура метода Дарбина 1. Считается регрессия и находятся остатки. 2. По остаткам находят оценку коэффициента автокорреляции остатков. 3. Оценка коэффициента автокорреляции используется для пересчета данных и цикл повторяется. Процесс останавливается, как только обеспечивается достаточная точность (результаты перестают существенно улучшаться).

Обобщенный метод наименьших квадратов. Замечания 1. Значимый коэффициент DW может указывать просто на ошибочную спецификацию. 2. Последствия автокорреляции остатков иногда бывают незначительными. 3. Качество оценок может снизиться из-за уменьшения числа степеней свободы (нужно оценивать дополнительный параметр). 4. Значительно возрастает трудоемкость расчетов. Не следует применять обобщенный МНК автоматически

В эконометрических исследованиях часто возникают ситуации, когда дисперсия остатков постоянна, но наблюдается статистическая зависимость остатков эконометрической модели между собой. Это явление называют автокорреляцией остатков .

В общем случае автокорреляция (последовательная корреляция) – это взаимосвязь упорядоченных во времени или в пространстве последовательных элементов соответственно временного или пространственного ряда данных.

На рис.5.5 показана зависимость Y от X , а также линия оцененного по этим данным уравнения парной линейной регрессии. Уже по рисунку видно, что оцененная регрессия не очень хороша: зависимость Y от X явно нелинейна. Если использовать проведенную регрессионную прямую, скажем, для прогнозирования дальнейшей динамики Y , результат будет неудовлетворительным.

Рис.5.5. К вопросу об автокорреляции остатков

Как же можно выразить формально неудовлетворительность полученного уравнения регрессии?

Мы видим, например, на рис.5.5, что в этом случае отклонения от линии регрессии не случайно распределены вокруг нее, а обладают определенной закономерностью. Эта закономерность, в частности, выражается в одинаковом, как правило, знаке каждых двух соседних отклонений . Это может являться следствием:

Неверной спецификации модели (ввиду нелинейного характера связи переменных);

Воздействием какого-то фактора, не включенного в модель в качестве объясняющей переменной. Величина такого неучтенного фактора может менять свою динамику в рассматриваемый период, отклоняясь в достаточно длительные промежутки времени в ту или иную сторону от своего среднего значения. Это, очевидно, может служить причиной длительных устойчивых отклонений зависимой переменной от линии регрессии.

Обе указанные причины свидетельствуют о том, что существует возможность улучшить уравнение регрессии путем оценивания какой-то новой нелинейной формулы или включения некоторой новой объясняющей переменной.

Зависимость, показанная на рис.5.5, очевидно, нелинейна. Но это – крайний случай. Далеко не всегда бывает столь же очевидно, что отклонения от регрессионной прямой имеют неслучайный, закономерный характер. Для оценки степени такой неслучайности необходимо ввести количественную меру .

Итак, одним из основных предполагаемых свойств отклонений наблюдаемых значений от регрессионной формулы является их статистическая независимость между собой .

Мы рассмотрим наиболее простую модель, в которой ошибки образуют так называемый авторегрессионный процесс первого порядка , т.е. когда ошибки зависят только от ошибок предыдущего периода. Применение обычного метода наименьших квадратов в этом случае дает несмещенные и состоятельные оценки параметров, однако можно показать, что оценка дисперсии оказывается смещенной вниз , что может отрицательно сказаться при проверке гипотез о значимости оценок параметров. Образно говоря, МНК рисует более оптимистичную картину, чем есть на самом деле.

Следовательно, последствия автокорреляции состоят в том, что:

- оценка дисперсии при использовании МНК является заниженной .

Большинство тестов на наличие автокорреляции в ошибках модели (наиболее широко используется тест Дарбина-Уотсона ) используют следующую идею: если корреляция есть у ошибок , то она присутствует и в остатках , получаемых после применения к модели обычного метода наименьших квадратов.

То есть, поскольку значения ошибок остаются неизвестными ввиду неизвестности истинных значений параметров модели, то проверяется статистическая независимость их аналогов – отклонений . При этом проверяется обычно их некоррелированность (являющаяся необходимым, но недостаточным атрибутом независимости ), причем некоррелированность не любых, а соседних величин .

- соседние во времени значения (в случае временных рядов);

- соседние по возрастанию переменной Х значения (в случае перекрестных выборок).

“Первого порядка ” означает, что остатки зависят только от остатков предыдущего периода.

Практически, однако, используют тесно связанную с статистику Дарбина-Уотсона, обозначаемую как DW-статистика или как d‑статистика , и рассчитываемую по формуле:

. (5.13)

.

3 Проверка автокорреляции остатков

При наличии автокорреляции в остатках et оценки коэффициентов регрессии модели, полученные МНК, не будут иметь оптимальные статистические свойства (стандартная ошибка уравнения регрессии и построенные на ее основе доверительные интервалы ненадежны). Автокорреляция в остатках свидетельствует о неудачном подборе модели, о ее несовершенстве. Классические методы математической статистики лишь тогда применимы, когда отдельные члены статистического ряда независимы (некоррелированы). Но и при предпосылке нормального распределения и отсутствия автокорреляции в генеральной совокупности, из которой временной ряд взят, нельзя, к сожалению, разработать точной проверки автокорреляции при малых выборках. Ниже рассмотрены три приема проверки автокорреляции.

1. Один из возможных путей приближенной оценки автокорреляции основывается на использовании первого эмпирического нециклического коэффициента автокорреляции . К сожалению, распределение этого коэффициента для выборок из нормально распределенной, не автокоррелированной генеральной совокупности неизвестно. Поэтому мы пользуемся введенным Р.Л. Андерсоном циклическим коэффициентом автокорреляции, который определяется следующим образом:

(4.14)

Циклическим коэффициентом автокорреляции для сдвига является коэффициент автокорреляции между рядами и . При этом мы предполагаем, что временной ряд повторяется, т.е. что за последним членом xn снова следуют члены x1,x2,... Для циклический коэффициент автокорреляции первого порядка будет коэффициентом корреляции между рядами и x2 ,x3 ,...,xn , x1 . Для больших выборок циклический коэффициент автокорреляции и нециклический коэффициент автокорреляции практически совпадают, для малых выборок их равенство приблизительно. Расчетное значение сравнивается при данной численности наблюдений n с граничными значениями (табл. П.5 Приложения). При положительной автокорреляции оно признается существенным для , если выполняется неравенство > , в противном случае, если , она отсутствует. При отрицательной автокорреляции оно признается существенным, если < , а несущественной - при . Изложенный выше метод может быть использован и для проверки автокорреляции остатков . В последнем случае автокорреляционная функция принимает более простой вид:

(4.15)

2. Для проверки значимости автокорреляции чаще всего используют критерий Дарбина-Уотсона (иногда его обозначают DW). Построенный на основе гипотезы о существовании автокорреляции первого порядка: (4.16)

Где n - длина временного ряда. Величина d имеет симметрическое распределение со средней, равный 2. При отсутствии автокорреляции значение , при полной положительной - d=0 , при полной отрицательной - d=4 .
Расчетное значение d сравнивают с граничными его значениями dL и dU , при этом возможны следующие случаи:

Таблица 4.3

Значение d	Суждение
0 £ d < dL	имеется положительная автокорреляция
	неопределенность автокорреляция отсутствует неопределенность имеется отрицательная автокорреляция

Значения dL и dU табулированы (табл. П.7 Приложения) для значений n в интервале 7-100. В этой таблице v означает число независимых переменных в уравнении регрессии. Для функции вида xt =x (t) , v=1 .

3. Иногда вместо статистики Дарбина-Уотсона используется средняя Неймана Q:
(4.17)

(4.18)

(4.19)

Если вычисленное по формуле (4.17) значение Q меньше некоторого критического для данного числа наблюдений n значения (для ), то мы говорим о положительной автокорреляции остатков, если больше значения - то об отрицательной автокорреляции. Эти значения приводятся в табл. П.8 Приложения.

Пример 20. Проверим наличие автокорреляции остатков, полученных в результате моделирования временного ряда примера 1 (см. пример 18).
Прием 1. (через циклический коэффициент автокорреляции).
Первый эмпирический нециклический коэффициент автокорреляции рассчитываем по следующим данным:

1 2 3 4 5 6 7 9 10 11 12 13 14 15	12,051 10,977 -4,097 0,829 -8,245 -6,319 -1,393 8,541 -2,615 4,311 1,237 2,163

Автокорреляция – это корреляционная зависимость между текущими значениями некоторой переменной и значениями этой же переменной, сдвинутыми на несколько периодов времени назад. Автокорреляция случайной составляющей e модели – это корреляционная зависимость текущих и предыдущих значений случайной составляющей модели. Величина l называется запаздыванием , сдвигом во времени или лагом .

Автокорреляция случайных возмущений модели нарушает одну из предпосылок регрессионного анализа: условие

не выполняется.

Автокорреляция может быть вызвана несколькими причинами, имеющими различную природу. Во-первых, иногда она связана с исходными данными и вызвана наличием ошибок измерения в значениях результирующей переменной. Во-вторых, в ряде случаев причину автокорреляции следует искать в формулировке модели. Модель может не включать фактор, оказывающий существенное воздействие на результат, влияние которого отражается на возмущениях, вследствие чего последние могут оказаться автокоррелированными. Очень часто этим фактором является фактор времени t : автокорреляция обычно встречается при анализе временных рядов.

Постоянная направленность воздействия не включенных в модель переменных является наиболее частой причиной так называемой положительной автокорреляции .

Иллюстрацией положительной автокорреляции может служить следующий пример.

Пример 5.2. Пусть исследуется спрос Y на прохладительные напитки в зависимости от дохода X по ежемесячным и сезонным наблюдениям. Зависимость, отражающая увеличение спроса с ростом дохода, может быть представлена линейной функцией регрессии y = ax + b , изображенной вместе с результатами наблюдений на рис. 5.2.

Рис. 5.2. Положительная автокорреляция

На величину спроса Y оказывают влияние не только доход X (учтенный фактор), но и другие факторы, которые не учтены в модели. Одним из таких факторов является время года.

Положительная автокорреляция означает постоянное в одном направлении действие неучтенных факторов на результирующую переменную. Так спрос на прохладительные напитки всегда выше линии регрессии летом (т.е. для летних наблюдений e > 0) и ниже зимой (т.е. для зимних наблюдений e < 0) (рис. 5.2). g

Аналогичная картина может иметь место в макроэкономическом анализе с учетом циклов деловой активности.

Отрицательная автокорреляция означает разнонаправленное действие неучтенных в модели факторов на результат: за положительными значениями случайной составляющей e в одних наблюдениях следуют, как правило, отрицательные в следующих, и наоборот. Графически это выражается в том, что результаты наблюдений y i «слишком часто» «перескакивают» через график уравнения регрессии. Возможная схема рассеяния наблюдений в этом случае представлена на рис. 5.3.

Рис. 5.3. Отрицательная автокорреляция

Последствия автокорреляции в определенной степени сходны с последствиями гетероскедастичности. Среди них при применении МНК обычно выделяют следующие.

1. МНК-оценки параметров, оставаясь несмещенными и линейными, перестают быть эффективными. Следовательно, они перестают обладать свойствами наилучших линейных несмещенных оценок.

2. Стандартные ошибки коэффициентов регрессии будут рассчитываться со смещением. Часто они являются заниженными, что влечет за собой увеличение t -статистик. Это может привести к признанию статистически значимыми объясняющих переменных, которые в действительности таковыми не являются. Смещенность возникает вследствие того, что выборочная остаточная дисперсия (m – число объясняющих переменных модели), которая используется при вычислении указанных величин (см. формулы (2.18) и (2.19)), является смещенной. Во многих случаях она занижает истинное значение дисперсии возмущений s 2 .

Вследствие вышесказанного все выводы, получаемые на основе соответствующих t - и F - статистик, а также интервальные оценки будут ненадежными. Следовательно, статистические выводы, получаемые при проверке качества оценок (параметров модели и самой модели в целом), могут быть ошибочными и приводить к неверным заключениям по построенной модели.