В условиях высокой коррелированности входных переменных МНК-оценки коэффициентов регрессии проявляют неустойчивость. Это обусловлено тем, что дисперсия оценок увеличивается при увеличении взаимной корреляции входных переменных:

 D(b_jоц)=σ²_e/(n*(1-R²_j0)),

где D(b_jоц) - дисперсия j-той оценки коэффициента регрессии;

     σ²_e - дисперсия возмущений;

     R_j0 - коэффициент множественной корреляции входной переменной X_j с остальными X₁, X₂, ..., X_j-1, X_j+1, ... ,X_k.;

    n - число наблюдений.

При увеличении тесноты связи между входными переменными R_j0 стремится к 1, что приводит к вырожденности матрицы X^т*X ( D(b_jоц) стремится к бесконечности).

В этих условиях предпочтительны оценки смещенные, но имеющие меньшую дисперсию, чем несмещенные МНК-оценки. Выбор таких оценок может быть сделан из условия минимума СКО оценок:

 M[(B_оц - B)^т*(B_оц - B)] = D(B_оц) + [M(B_оц - B)]²,

 где D(B_оц) - дисперсия оценок коэффициентов регрессии B_оц ;

        M(B_оц-B) - смещение оценок коэффициентов регрессии B_оц. 

Метод, использующий в качестве критерия выбора оптимальных оценок коэффициентов регрессии минимум СКО этих оценок, получил название метода гребневой регрессии. 

Для вычисления смещенных оценок в методе гребневой регрессии искусственно вводится параметр k, добавляемый к диагональным элементам матрицы X^T*X. Таким образом, рассматривается матрица (X^T*X + k*I), где I - единичная матрица, k - параметр смещения (0≤k≤1). На рисунке показано качественное уменьшение дисперсии оценок коэффициентов (кривая 1), увеличение смещения оценок (кривая 2) при изменении параметра смещения k.

Из рисунка видно, что при некотором значении k существует минимум СКО (кривая 3). Оценки B_оц, вычисленные при этом значении k обладают минимальным отличием от истинных значений B, что является важным свойством подобранной таким образом регрессионной модели. Обратите внимание, что обычные МНК-оценки коэффициентов регрессии соответствуют значению k=0.

Таким образом, оценки гребневой регрессии вычисляются как

В_оц = (X^T*X + k*I)^-1X^T*Y

В практических процедурах оценивания исходным для принятия решения о методах получения оценок коэффициентов регрессии является график изменения оценок от изменения параметра смещения k. Удобство графика состоит в том, что оценки коэффициентов указываются для нормированных (стандартизованных) переменных. Это позволяет сравнивать влияние входных переменных на выходной контролируемый параметр. Например, пусть оцениваются коэффициенты уравнения регрессии

 y=b₀+b₁*x₁+b₂*x₂+b₃*x₃.

Из приведенного на рисунке графика видно, что оценка b_2оц при увеличении k изменяет знак и приобретает наиболее высокое значение. Такое изменение, как указывалось, обусловлено высокой взаимной коррелированностью x₁, x₂ и x₃. Оптимальное значение k определяется по графику как значение начинающее область малого изменения оценок. Часто это значение лежит в пределах 0,2, ÷ 0,4.

Обращаем Ваше внимание на то, что метод гребневой регрессии эффективнее обычного МНК лишь при наличии значительных корреляций входных переменных (когда при изменении k оценки коэффициентов либо меняют знак, либо изменяется значимость коэффициентов).