Факторный анализ (ФА), как и многие методы анализа многомерных данных, опирается на гипотезу о том, что наблюдаемые переменные являются косвенными проявления относительно небольшого числа неких скрытых (гипотетических) факторов. ФА, таким образом, это совокупность моделей и методов ориентированных на выявление и анализ скрытых (латентных) зависимостей между наблюдаемыми переменными. В контексте задач распознавания, наблюдаемыми переменными обычно являются признаки объектов.

Предположим, что наблюдаемые объекты (автомобили) оцениваются двумя признаками: стоимостью автомобиля - x₁ ( в десятках тысяч долларов) и длительностью рабочего ресурса двигателя - x₂ ( в тысячах часов). При условии коррелированности x₁ и x₂ в системе координат существует направленное, плотное скопление точек (объектов).

Это позволяет формально провести через плотные скопления точек новые оси координат F₁ и F₂, которые в свою очередь коррелируют с x₁ и x₂. В общем случае максимальное число

новых осей будет равно числу элементарных признаков. Для нашего случая имеем:

Модели с латентными переменными применяются при решении следующих задач:

Например пусть исходная матрица X содержит по трем показателям (i =1,2,3) значения четырех (j=1,2,3,4) объектов:

x₁₁	x₁₂	x₁₃	x₄₁
x₂₁	x₂₂	x₂₃	x₄₂
x₃₁	x₃₂	x₃₃	x₄₃

Если значения матрицы нормировать (обозначим эту матрицу Z) и разделить на n -1 = 3, то получим оценку корреляционной матрицы:

R = (Z*Z^т)/3

Целью факторного анализа является представление матрицы Z в виде:

Z_3*4 = A_3*m*F_m*4 ,

где m - количество факторов;

F_m*4 - матрица значений факторов (factor scores);

A_3*m - матрица факторного отображения (factor pattern), элементы которой называются факторными нагрузками (factor loadings).

Пусть m=2, тогда матрица Z имеет вид:

*a₁₁f₁₁+ a₁₂f₂₁*	*a₁₁f₁₂+ a₁₂f₂₂*	*a₁₁f₁₃+ a₁₂f₂₃*	*a₁₁f₁₄+ a₁₂f₂₄*
*a₂₁f₁₁+ a₂₂f₂₁*	*a₂₁f₁₂+ a₂₂f₂₂*	*a₂₁f₁₃+ a₂₂f₂₃*	*a₂₁f₁₄+ a₂₂f₂₄*
*a₃₁f₁₁+ a₃₂f₂₁*	*a₃₁f₁₂+ a₃₂f₂₂*	*a₃₁f₁₃+ a₃₂f₂₃*	*a₃₁f₁₄+ a₃₂f₂₄*

Таким образом, отдельные наблюдения являются линейными комбинациями гипотетических, ненаблюдаемых или скрытых переменных, называемых факторами, которые не могут быть обнаружены непосредственно в процессе наблюдения.

В общем виде R = (Z*Z^т)/(n - 1), где n - количество наблюдаемых объектов. Тогда, так как (A*F)^т = F^т*A^т получим:

R = (Z*Z^т)/(n - 1) = A*F*(A*F)^т/(n - 1) = A*F*F^т*A^т/(n - 1)

Матрица F*F^т/(n - 1) является оценкой корреляционной матрицы факторов F. Если факторы некоррелируют, то F*F^т/(n - 1) = I - единичная матрица и, следовательно:

R = A*A^т

Выражения A*F*F^т*A^т/(n - 1) и R = A*A^т называют фундаментальной теоремой факторного анализа. Теорема утверждает, что корреляционная матрица исходных наблюдений может быть воспроизведена с помощью факторного отображения и корреляций между факторами. Обозначим G = F*F^т/(n - 1), тогда R = A*G*A^т. Для нашего примера имеем:

r₁₁ r₁₂ r₁₃ a₁₁ a₁₂ g₁₁ g₁₂ a₁₁ a₂₁ a₃₁

r₁₁ r₁₂ r₁₃
=
a₂₁ a₂₂
*
g₂₁ g₂₂
*
a₁₂ a₂₂ a₃₂

r₁₁ r₁₂ r₁₃ a₃₁ a₃₂

R = A
*
G
*
A^т

При G = I (факторы некоррелируют) матрица R_3*3 имеет вид:

(a₁₁)² + (a₁₂)²

a₁₁*a₂₁ + a₁₂*a₂₂

a₁₁*a₃₁ + a₁₂*a₃₂

a₁₁*a₂₁ + a₁₂*a₂₂

(a₂₁)² + (a₂₂)²

a₂₁*a₃₁ + a₂₂*a₃₂

a₁₁*a₃₁ + a₁₂*a₃₂

a₂₁*a₃₁ + a₂₂*a₃₂

(a₃₁)² + (a₃₂)²

Из приведенного выше примера, что исходную оценку корреляционной матрицы R размером 3*3 можно восстановить используя матрицу A меньшего размера 3*2 .

Пусть имеется оценка корреляционной матрицы для четырех переменных:

1	0,72	0,45	0,045
0,72	1	0,4	0,04
0,45	0,4	1	0,025
0,045	0,04	0,025	1

Оценки коэффициентов корреляции можно воспроизвести с помощью следующего уравнения:

(0,81)	0,72	0,45	0,045		0.9
0,72	(640)	0,4	0,04	=	0,8	*	(0,9	0,8	0,5	0,05)
0,45	0,4	(0,25)	0,025		0,5
0,045	0,04	0,025	(0,003)		0,05
	R⁺			=	A	*	A^т

Вектор A^т = (0,9 0,8 0,5 0,05) представляет собой фактор, элементы которого - факторные нагрузки. Матрица R⁺ является матрицей воспроизведенных оценок коэффициентов корреляции. Диагональные элементы называются общностями. Их оценивание составляет первую проблему - проблему общности. Второй проблемой - проблемой факторов, является проблема оценивания A^т. Фактор называется генеральным (general factor), если все его нагрузки являются значимыми.

Содержательно, специфические факторы соответствуют необъясненной общими факторами изменчивости набора наблюдаемых переменных. Таким образом их можно рассматривать как случайную ошибку наблюдения или шум, не являющийся ценной информацией для выявления скрытых закономерностей и зависимостей. Важным предположением является независимость их между собой. Обычно, однако не всегда, общие факторы F_j предполагаются некоррелированными (ортогональными).

Целью ФА является выявление общих факторов F_j, и матрицы факторных нагрузок A таким образом, чтобы найденные общие факторы объясняли наблюдаемые данные наилучшим образом, то есть чтобы суммарная общность переменных была максимальна (а соответственно специфичность - минимальна).

Итак, в общем случае основные этапы факторного анализа следующие:

*a₁₁f₁₁+ a₁₂f₂₁*	*a₁₁f₁₂+ a₁₂f₂₂*	*a₁₁f₁₃+ a₁₂f₂₃*	*a₁₁f₁₄+ a₁₂f₂₄*
*a₂₁f₁₁+ a₂₂f₂₁*	*a₂₁f₁₂+ a₂₂f₂₂*	*a₂₁f₁₃+ a₂₂f₂₃*	*a₂₁f₁₄+ a₂₂f₂₄*
*a₃₁f₁₁+ a₃₂f₂₁*	*a₃₁f₁₂+ a₃₂f₂₂*	*a₃₁f₁₃+ a₃₂f₂₃*	*a₃₁f₁₄+ a₃₂f₂₄*

(a₁₁)² + (a₁₂)²	a₁₁*a₂₁ + a₁₂*a₂₂	a₁₁*a₃₁ + a₁₂*a₃₂
a₁₁*a₂₁ + a₁₂*a₂₂	(a₂₁)² + (a₂₂)²	a₂₁*a₃₁ + a₂₂*a₃₂
a₁₁*a₃₁ + a₁₂*a₃₂	a₂₁*a₃₁ + a₂₂*a₃₂	(a₃₁)² + (a₃₂)²