Скачать

Методы дискриминантного анализа

Дuскрuмuнантный анализ - это раздел математической статистики, содержанием которого является разработка методов решения задач различения (дискриминации) объектов наблюдения по определенным признакам. Например, разбиение совокупности предприятий на несколько однородных групп по значениям каких-либо показателей производственно-хозяйственной деятельности.

Методы дискриминантного анализа находят применение в различных областях: медицине, социологии, психологии, экономике и т.д. При наблюдении больших статистических совокупностей часто появляется необходимость разделить неоднородную совокупность на однородные группы (классы). Такое расчленение в дальнейшем при проведении статистического анализа дает лучшие результаты моделирования зависимостей между отдельными признаками.

Дискриминантный анализ оказывается очень удобным и при обработке результатов тестирования отдельных лиц. Например, при выборе кандидатов на определенную должность можно всех опрашиваемых претендентов разделить на две группы: «подходит» и «не подходит».

Можно привести еще один пример применения дискриминантного анализа в экономике. Для оценки финансового состояния своих клиентов при выдаче им кредита банк классифицирует их на надежных и не надежных по ряду признаков. Таким образом, в тех случаях, когда возникает необходимость отнесения того или иного объекта к одному из реально существующих или выделенных определенным способом классов, можно воспользоваться дискриминантным анализом.

Аппарат дискриминантного анализа разрабатывался многими учеными-специалистами, начиная с конца 50-х годов ХХ в. Дискриминантным анализом, как и другими методами многомерной статистики, занимались П.Ч. Махаланобис, Р. Фишер, Г.Хотеллинг и другие видные ученые.

Все процедуры дискриминантного анализа можно разбить на две группы и рассматривать их как совершенно самостоятельные методы. Первая группа процедур позволяет интерпретировать различия между существующими классами, вторая - проводить классификацию новых объектов в тех случаях, когда неизвестно заранее, к какому из существующих классов они принадлежат.

Пусть имеется множество единиц наблюдения - генеральная совокупность. Каждая единица наблюдения характеризуется несколькими признаками (переменными) - значение j-й переменной у i-го объекта i=1,…N; j=1,…p.

Предположим, что все множество объектов разбито на несколько подмножеств (два и более). Из каждого подмножества взята выборка объемом , где k- номер подмножества (класса), k= 1,... , q.

Признаки, которые используются для того, чтобы отличать один класс (подмножество) от другого, называются дискриминантными переменными. Каждая из этих переменных должна измеряться либо по интервальной шкале, либо по шкале отношений. Интервальная шкала позволяет количественно описать различия между свойствами объектов. Для задания шкалы устанавливаются произвольная точка отсчета и единица измерения. Примерами таких шкал являются календарное время, шкалы температур и т. п. В качестве оценки положения центра используются средняя величина, мода и медиана.

Шкала отношений - частный случай интервальной шкалы. Она позволяет соотнести количественные характеристики какого-либо свойства у разных объектов, например, стаж работы, заработная плата, величина налога.

Теоретически число дискриминантных переменных не ограничено, но на практике их выбор должен осуществляться на основании логического анализа исходной информации и одного из критериев, о котором речь пойдет немного ниже. Число объектов наблюдения должно превышать число дискриминантных переменных, как минимум, на два, т. е. р < N. Дискриминантные переменные должны быть линейно независимыми. Еще одним предположением при дискриминантном анализе является нормальность закона распределения многомерной величины, т.е. каждая из дискриминантных переменных внутри каждого из рассматриваемых классов должна быть подчинена нормальному закону распределения. В случае, когда реальная картина в выборочных совокупностях отличается от выдвинутых предпосылок, следует решать вопрос о целесообразности использования процедур дискриминантного анализа для классификации новых наблюдений, так как в этом случае затрудняются расчеты каждого критерия классификации.

1. Дискриминантные функции и их геометрическая интерпретация

Перед тем как приступить к рассмотрению алгоритма дискриминантного анализа, обратимся к его геометрической интерпретации. На рис. 1 изображены объекты, принадлежащие двум различным множествам М₁и М₂.

Рис.1 Геометрическая интерпретация дискриминантной функции и дискриминантных переменных

Каждый объект характеризуется в данном случае двумя переменными и .Если рассматривать проекции объектов (точек) на каждую ось, то эти множества пересекаются, т.е. по каждой переменной отдельно некоторые объекты обоих множеств имеют сходные характеристики. Чтобы наилучшим образом разделить два рассматриваемых множества, нужно построить соответствующую линейную комбинацию переменных и . Для двумерного пространства эта задача сводится к определению новой системы координат. Причем новые оси Lи С должны быть расположены таким образом, чтобы проекции объектов, принадлежащих разным множествам на ось L, были максимально разделены. Ось С перпендикулярна оси Lи разделяет два «облака» точек наилучшим образом, Т.е. чтобы множества оказались по разные стороны от этой прямой. При этом вероятность ошибки классификации должна быть минимальной. Сформулированные условия должны быть учтены при определении коэффициентов и следующей функции:

F(x) = + (1)

Функция F(x) называется канонической дискриминантной функцией, а величины и - дискриминантными переменными.

Обозначим - среднее значение j-го признака у объектов i-го множества (класса). Тогда для множества М₁среднее значение функции (x) будет равно:

(x) = +; (2)

Для множества М₂среднее значение функции равно:

(x) = +; (3)

Геометрическая интерпретация этих функций - две параллельные прямые, проходящие через центры классов (множеств) (рис.2).

Рис. 2. Центры разделяемых множеств и константа дискриминации

Дискриминантная функция может быть как линейной, так и нелинейной. Выбор ее вида зависит от геометрического расположения разделяемых классов в пространстве дискриминантных переменных. Для упрощения выкладок в дальнейшем рассматривается линейная дискриминантная функция.

2. Расчет коэффициентов дискриминантной функции

Коэффициенты дискриминантной функции определяются таким образом, чтобы (x) и (x) как можно больше различались между собой, т.е. чтобы для двух множеств (классов) было максимальным выражение

(4)

Тогда можно записать следующее:

(5)

где k- номер группы; p – число переменных, характеризующих каждое наблюдение.

Обозначим дискриминантную функцию (x)как (k - номер группы, t- номер наблюдения в группе). Внутригрупповая вариация может быть измерена суммой квадратов отклонений:

(6)

По обеим группам это будет выглядеть следующим образом:

(7)

В матричной форме это выражение может быть записано так:

(8)

где А - вектор коэффициентов дискриминантной функции;

- транспонированная матрица отклонений наблюдаемых значений исходных переменных от их средних величин в первой группе

(9)

- аналогичная матрица для второй группы.

Объединенная ковариационная матрица определяется так:

(10)

Следовательно выражение (8) дает оценку внутригрупповой вариации и его можно записать в виде:

(11)

Межгрупповая вариация может быть измерена как

(12)

При нахождении коэффициентов дискриминантной функции следует исходить из того, что для рассматриваемых объектов внутригрупповая вариация должна быть минимальной, а межгрупповая вариация - максимальной. В этом случае мы достигнем наилучшего разделения двух групп, т.е. необходимо, чтобы величина Fбыла максимальной:

(13)

В точке, где функция Fдостигает максимума, частные производные по будут равны нулю. Если вычислить частные производные

(14)

и приравнять их нулю, то после преобразований получим выражение:

(15)

Из этой формулы и определяется вектор коэффициентов дискриминантной функции (А)

Полученные значения коэффициентов подставляют в формулу (1) и для каждого объекта в обеих группах (множествах) вычисляют дискриминантные функции, затем находят среднее значение для каждой группы. Таким образом, каждое i-е наблюдение, которое первоначально описывалось m переменными, будет как бы перемещено в одномерное пространство, т.е. ему будет соответствовать одно значение дискриминантной функции, следовательно, размерность признакового пространства снижается.

3. Классификация при наличии двух обучающих выборок

Перед тем как приступить непосредственно к процедуре классификации, нужно определить границу, разделяющую в частном случае две рассматриваемые группы. Такой величиной может быть значение функции, равноудаленное от и , т.е.

(16)

Величина С называется константой дискриминации.

На рис.1 видно, что объекты, расположенные над прямой f(x)=++…+ =C , находятся ближе к центру множества и, следовательно, могут быть отнесены к первой группе, а объекты, расположенные ниже этой прямой, ближе к центру второго множества, т.е. относятся ко второй группе. Если граница между группами выбрана так, как сказано выше, то суммарная вероятность ошибочной классификации минимальная.

Рассмотрим пример использования дискриминантного анализа для проведения многомерной классификации объектов. При этом в качестве обучающих будем использовать сначала две выборки, принадлежащие двум классам, а затем обобщим алгоритм классификации на случай k классов.

Пример 1. Имеются данные по двум группам промышленных предприятий машиностроительного комплекса:

-фондоотдача основных производственных фондов, руб.;

-затраты на рубль произведенной продукции, коп.;

-затраты на сырье и материалов на один рубль продукции, коп.