Метод наименьших квадратов

При анализе данных распространена следующая ситуация:

•   нам известен набор значений {x_i,y_i}, i=1,2,…,N, отражающий общий характер исследуемой зависимости, но эти значения получены с погрешностями. Погрешности могут быть связаны с неточными измерениями, случайными или систематическими ошибками измерительных приборов, неверной интерпретацией данных человеком и т.п.;

•   из физических или математических соображений нам известен также общий характер (порядок) зависимости, например, первый (линейная зависимость, все точки y_i должны лежать на одной прямой), второй (квадратичная зависимость, через точки следует провести параболу) и т.д. Обозначим порядок зависимости как M, при M=1 получается прямая, при M=2 – парабола, а в общем случае M может принимать значения 1≤M<N.

Чтобы устранить действие погрешностей, нам требуется построить зависимость ϕ(x) порядка M, которая наилучшим образом приближает имеющиеся данные. Под наилучшим будем понимать такое приближение, при котором сумма отклонений ϕ(x_i) от известных значений f(x_i) минимальна:

Чтобы не зависеть от знаков отклонений, будем учитывать их квадраты. Таким образом, искомая зависимость строится из условия минимума функционала Так как ищется минимум суммы квадратов отклонений, данный расчёт называют методом наименьших квадратов (МНК). Существует несколько способов построения функционала МНК, например, такой:

•   Определить порядок МНК m и исходные данные {x_{i, y}i _}, i=1,2,…, n;

•    Построить матрицу A размерностью n*(m+1) с элементами вида ;

•    Транспонировать матрицу A, получив матрицу A^T размерностью (m+1)*n;

•    Вычислить произведение матриц Z=A^T*A, размер матрицы Z равен (m+1)*(m+1);

•    Вычислить вектор b из m+1 элементов по формуле b=A^T*y, где вектор y содержит значения y_i;

•    Найти решение системы уравнений Z*c=b в виде c=Z^-1*b, вектор c содержит m+1 элементов;

_•    В произвольной точке x функционал МНК может быть вычислен по формуле ϕ(x)=c₀+c₁*x+…+c_m*x^m

Задание: построить МНК 1 порядка по следующим значениям {x_i,y_i}:

Вывести на графике полученную зависимость f(x) и исходные данные {x_i,y_i}, границы графика по оси Ox принять от 0 до 7.

Скриншот:

Просто задав другое значение m, получим МНК другого порядка.

 Скачать этот пример в формате XMCD (43 Кб)

Заметим, что этот расчёт следует понимать скорее как полезное упражнение по расчётам в MathCAD. Того же результата можно было добиться и применением пары стандартных функций... правда, считать будет помедленнее :)

гостевая; E-mail