4.4.Метод наименьших квадратов и его оценки

Создание метода наименьших квадратов восходит к трудам Карла Фридриха Гаусса в конце XVI11 и начале XIX века в области исследований по астрономии. Математический метод был открыт в связи с необходимостью обработки неравноценных наблюдаемых данных.

В дальнейшем применил способ наименьших квадратов и развил теорию ошибок Пьер Симон Лаплас. Также существенный вклад в развитие метода внес Адриен Мари Лежандр.

Этот метод приобрел самую широкую известность благодаря фундаментальным трудам многих статистиков и

9

математиков и его применению в экономико- статистических расчетах.

Рассмотрим метод наименьших квадратов на простом примере зависимости между двумя переменными х и у, причем у зависит от х. Если установлено, что связь ме- жду ними криволинейная и описывается параболой, т.е. полиномом второй степени, с параметрами o^aj^ :

у = а0 +а1х + а2х2,

то задача сводится к отысканию неизвестных трех параметров.

При числе наблюдений (количестве уровней в ря-дах) п, значения величин х и у представлены двумя рядами данных:

У1,У2>->Уп

xj,x2,...,xn

Если бы все значения, полученные по данным наблюдения, лежали строго на линии, описываемой уравнением параболы, то для каждой точки было бы справедливо следующее равенство:

у(-а0-аЛ-а2х2 =0. Однако в действительности

у(-а0-аЛ-а2х2 = Д(,

которое существует вследствие ошибок измерения и слу-чайных неучтенных факторов. Необходимо найти такие коэффициенты регрессии, чтобы ошибка была минимальной. Можно минимизировать сумму абсолютных (по модулю) отклонений или сумму кубических отклонений или наибольшую абсолютную ошибку. Однако оптимальным подходом является минимизация квадрата отклонений

S=^A2 => min .

t=i

Минимизация квадратов отклонений обладает тем свойством, что число нормальных уравнений равно числу неизвестных параметров.

Минимизация суммы

п п

Z = Z (yt ~a0~aiXt- а2=> min

t=1 t= 1

дает три уравнения для каждого из трех параметров. Для нахождения значений неизвестных параметров необходимо приравнять нулю частные производные указанной суммы по этим параметрам:

SS

¦ = -2^(у - а0 -ахх -а2х2) = О

дас SS

(4.10)

= -2У](у-а0 -а1х-а2х1)х = 0 .

да. dS дап

= -2^ (у-а{) -а1х-а2х2)х2 = О Проведение простейших преобразований приводит к системе нормальных уравнений:

a^x + a^+aJV^x . (4.11) а,

,I>2 +«iZx3 +а21Х = 2>2 Решение системы линейных относительно неизвестных параметров уравнений любым из способов дает значения ц^а,. Обычно полиномы выше третьей степени практически не используются, то система нормальных уравнений такого полинома будет состоять соответственно из четырех уравнений.

МНК даже при сравнительно небольшом числе наблюдений приводит к получению достаточных оценок. Оценки могут быть точечными и интервальными. Точечные оценки обладают свойствами несмещенности, эффективности, состоятельности, описанными в предыдущем параграфе.

Однако любая оценка истинного значения параметра по выборочным данным может быть произведена только с определенной степенью достоверности. Степень этой достоверности определяется путем построения доверительных интервалов.

Метод наименьших квадратов может быть использован и в случаях, когда имеются данные косвенных наблюдений, являющиеся функциями многих неизвестных. МНК является основой регрессионного анализа, используемого при выполнении предпосылок, рассмотренных выше. Также условием его применения является линейность уравнений регрессии относительно параметров. Исходя из классификации видов регрессии МНК применим для линейных и нелинейных регрессий первого класса.

<< | >>
Источник: Антохонова И.В.. Методы прогнозирования социально-экономических процессов. 2004

Еще по теме 4.4.Метод наименьших квадратов и его оценки:

  1. 2.3. Метод наименьших квадратов
  2. Анализ «хи-квадрат»: поиск закономерностей для качественных данных
  3. Принятие решения по критерию наименьшей стоимости.
  4. 4.1. Комбинация: нынешние и прошлые события (критерий «хи-квадрат» соответствия)
  5. 5. Оценка эффективности методов управления риском. Оценка эффективности страхования
  6. 4.3. Проверка наличия взаимосвязи между двумя качественными переменными (критерий «хи-квадрат» независимости)
  7. 4. Методы оценки риска
  8. Аудиторский риск и его оценка
  9. 9.3. Простейшие методы оценки инвестиций
  10. 4. Анализ «хи-квадрат»: поиск закономерностей для качественных данных
  11. 25.9. Методы оценки недвижимости
  12. МЕТОДЫ ОЦЕНКИ ЗАПАСОВ