Учебные материалы по экономике | Множественный регрессионный анализ

n-1

Примечание: в графе 4 средние квадраты являются несмещенными оценками соответствующих дисперсиий.

Из схемы дисперсионного анализа: уравнение регрессии будет значимо на уровне a, если фактическое значение статистики F больше его табличного значения (отвергаем нулевую гипотезу Но о незначимости регрессии и принимаем конкурирующую с ней гипотезу Н1 о значимости):

(2.33)

где Fa, k1,k2 — табличное (критическое) значение F-критерия Фишера-Снедекора для уровня значимости a, степеней свободы k1 = m-1, k2 = n-m.

Смысл статистики F прозрачен: его значение показывает, во сколько раз объясненная регрессией дисперсия СВ больше остаточной (необъясненной) дисперсии s2 СВ е. Чем больше это отношение, тем более значимо уравнение регрессии.

Для парной регрессии m=2 и критерий Фишера-Снедекора формулируется так:

уравнение значимо, если .

(2.34)

Значимость уравнения парной регрессии можно равносильно оценить и иначе, по коэффициенту регрессии b1. Действительно, если нулевая гипотеза Но состоит в том, что b1 незначимо отличается от 0, и она подтверждается, то прямая регрессии расположена параллельно оси ОХ: объясняющая переменная Х ничего не объясняет. И наоборот: если b1 значимо отличается от 0, значит и все уравнение парной регрессии значимо.

Соответствующий критерий на основе статистики Стьюдента:

Но: b1=0 отвергается, если çt ç = çç > t1-a, n-2.

(2.35)

Равносильность критериев для парной регрессии вытекает из их функциональной связи: F=t2.

Иногда эконометристу требуется оценить значимость коэффициента корреляции. Соответствующий критерий:

Но: r=0 отвергается, если çt ç =çr ç> t1-a, n-2.

(2.36)

В теории и практике эконометрики используется еще один критерий качества регрессионной модели — коэффициент детерминации:

R2 = QR/Q = 1 — Qe/Q.

(2.37)

Очевидно, что 0£QR£Q. Отсюда свойство коэффициента детерминации: 0 £ R2 £ 1. Значение R2 показывает, какую долю составляет вариация регрессионной переменной по отношению к общей вариации объясняемой переменной. Ясно, что чем ближе R2 к 1, тем регрессионная модель более адекватна, имеет большую прогностическую силу, лучше подходит к наблюденным данным.

Критерий значимости уравнения регрессии (2.33) можно эквивалентно записать с помощью коэффициента детерминации:

F = > Fa, k1,k2.

(2.38)

Для парной регрессии коэффициент детерминации равен квадрату коэффициента корреляции: R2 = r2.

Вопросы для самоконтроля

1. В чем суть метода наименьших квадратов, наименьших модулей, в чем преимущество первого перед вторым?

2. В чем различия между параметрами bо, b1 и bo, b1?

3. Что общего и в чем отличие коэффициента r и ковариации Cov(Х, Y)?

4. Какой вывод следует из того, что r=0?

5. Приведите числовой пример выборки (хi, уi) из 6 пар.

6. Назовите пять предпосылок, которым должна отвечать нормальная классическая линейная регрессионная модель.

7. Дайте определения типам оценок: несмещенная, состоятельная, эффективная. Являются ли эти оценки независимыми?

8. Какими свойствами обладают оценки bo и b1 по теореме Маркова?

9. В чем смысл метода максимального правдоподобия?

10. Определите понятия: доверительная вероятность, доверительный интервал.

11. Раскройте смысл понятия доверительного интервала для среднего (х).

12. Раскройте смысл понятия доверительного интервала для индивидуального значения (х).

13. Для оценки точности прогноза какой из двух типов доверительных интервалов вы выберете?

14. Верно ли суждение: чем больше уровень значимости, тем больше доверительный интервал?

15. Раскройте смыcл понятия: оценка значимости регрессии.

16. Проверьте истинность равенства (2.32) Q = QR + Qe для выборок Х=(2, 4, 6, 9) и Y=(1, 5, 6, 12).

17. Раскройте смысл выражения: Но: b1=0.

18. Каким образом коэффициент детерминации R2 характеризует значимость регрессии?

3. Множественный регрессионный анализ

3.1.Классическая нормальная линейная модель

множественной регрессии

Сложное экономическое явление, как правило, описывается не одной, а несколькими объясняющими переменными. Модель множественной линейной регрессии (MМЛР) имеет вид:

yi = b0 + b1xi1 + b2xi2 + … + bpxip + ei,

(3.1)

где i = 1, 2, … , n; ei — возмущение.

Введем обозначения. Y=(у1, у2, … , уn)’ — матрица (здесь — вектор) значений зависимой переменной размерностью nx1. Штрих означает операцию транспонирования — поворот на 90о. Х — матрица значений объясняющих переменных (матрица плана) размерностью nх(p+1):

Заметим, что в матрицу плана введен дополнительный единичный столбец. Для удобства будем считать, что это значения фиктивной объясняющей переменной хi0.

Пусть b = (b0 b1… bp)’ и e = (e1 … en)’ — матрицы-столбцы параметров регрессии и возмущений размерностью (p+1) x 1 и nx1 соответственно.

Теперь выражение (3.1) можно записать в матричной форме:

Y = Хb + e.

(3.2)

Оценкой этой модели по выборкам будет выборочная модель:

Y = Хb + e,

(3.3)

где b=(b0 b1… bp)’ и e = (e1 … en)’.

К сформулированным ранее предпосылкам 1-5 регрессионного анализа добавим специально для множественного регрессионного анализа предпосылку-6: векторы значений объясняющих переменных (столбцы матрицы-плана Х) должны быть линейно независимыми, т. е. ранг r матрицы Х должен быть равен р+1: r(X)=p+1. Подробнее об этом в следующем параграфе.

Итак, если модель (3.3) удовлетворяет предпосылкам 1-5 регрессионного анализа, а также препосылке-6 о максимальном значении ее ранга r(X)=p+1, то такая модель называется классической нормальной линейной моделью множественной регрессии (КНЛММР).

Если же из шести предпосылок не выполняется лишь одна — пятая — о НЗР возмущения e, то модель называется классической линейной моделью множественной регрессии (КЛММР).

3.2. Оценка параметров классической множественной

регрессионной модели МНК

Принципиальных отличий применения МНК для парной регрессии от применения его для множественной регрессии нет. Поэтому основное значение этого параграфа — освоение матричного подхода к алгебраическим преобразованиям в рамках теории множественной регрессии.

Условие минимизации суммы квадратов отклонений для множественной регрессии:

S = å(— yi)2 = å ei2 = e’e = (Y-Xb)’(Y-Xb) ® min.

(3.4)

Как и ранее, для отыскания оптимального значения вектора b составим систему уравнений, приравняв нулю частные производные от S по bi. В матричной форме такая система уравнений будет иметь вид (читается ”набла S по b равно 0-вектору”):

Множественный регрессионный анализ

3.1.Классическая нормальная линейная модель

множественной регрессии

3.2. Оценка параметров классической множественной

регрессионной модели МНК

Наташа

Узнать стоимость за 15 минут

Распродажа дипломных

Подпишись на наш паблик в ВК

Нужна работа?