ИССЛЕДОВАНИЕ МЕТОДОВ ПОСТРОЕНИЯ ИНФОРМАТИВНЫХ НАБОРОВ ПРИЗНАКОВ Исполнитель

ИССЛЕДОВАНИЕ МЕТОДОВ ПОСТРОЕНИЯ ИНФОРМАТИВНЫХ НАБОРОВ ПРИЗНАКОВ

План

1. Сравнительный анализ методов построения  информативных наборов признаков

2. Аналитический подход к формированию информативной подсистемы признаков в задаче распознавания

3. Упрощенный метод классификации с использованием аналитического подхода формирования информативной подсистемы признаков при наличии обучающей выборки

1. Сравнительный анализ методов построения
информативных наборов признаков

Построение информативного набора признаков по обучающей выборке является одной из центральных проблем классической теории распознавания образов. Рассмотрим основное содержание этой проблемы в классической постановке. Назначение указанной    проблемы - определение наиболее полезных для классификации набора признаков. Предпосылкой к реализации данной проблемы является следующее важное обстоятельство.

Когда исходная система признаков определена, то она, как правило, оказывается весьма избыточной. Существуют разные точки зрения за и против относительно сохранения такой избыточности: аргумент "за" объясняется тем, что увеличение числа признаков позволяет более полно описать объекты: аргумент "против" - увеличение числа признаков увеличивает "шум" в данных, затрудняет обработку и требует больших вычислительных затрат.

В связи с поиском ответа на вопрос: сколько признаков следует оставлять в информативном наборе признаков и сколько объектов нужно брать при соблюдении условия статического ансамбля (с точки зрения статистики, а не предметной области) для получения результата с заданной точностью, целесообразно обратиться к результатам исследований по оцениванию ошибки распознаванию при различном объеме обучающей выборки и числу признаков. На основании анализа этих результатов можно сделать следующие выводы:

- ошибка быстро увеличивается с ростом числа признаков и медленно уменьшается с ростом числа объектов;

- увеличение числа признаков требует значительного повышения объема обучающей выборки для достижения той же ошибки.

Следовательно, первостепенное значение для выбора числа признаков должны иметь нестатистические соображения, вытекающие из существа решаемой задачи и особенностей предметной области. При решении многих прикладных задач, где для определения значения признаков используются дорогостоящие измерительные приборы, снижение размерности признакового пространства приобретает решающую роль. Как правило, такое преобразование признакового пространства сводится к определению относительно небольшого числа признаков, которые обладают свойством наибольшей информативности в смысле, определяемом выбранным критерием информативности. Причем, говоря о преобразовании признакового пространства и выборе критерия информативности, следует иметь в виду, что преобразование признаков, осуществляемое вне связи с качеством классификации, приводит к задаче представления исходных данных в пространстве меньшей размерности. Полученный при этом информативный набор признаков определяется путем максимизации (или минимизации) некоторого функционала - критерия информативности, не учитывающего классовою структуру объектов. Если же признаки выбираются с целью улучшения характеристик классифицируемой системы, то критерий такого выбора связан с разделимостью классов. В соответствии с этими задачами в прикладных исследованиях обычно используются два подхода к снижению размерности исходного пространства признаков. При первом подходе новые признаки определяются без учета качества классификации (задача представления данных), а при втором - поиск признаков связан с оценкой качества классификации (задача распознавания объектов). Очевидно, что реализация рассмотренного выше этапа формирования информативного описания распознаваемых объектов связана с использованием методов снижения размерности, основанных на втором подходе.{spoiler=Подробнее}

Проблеме преобразования признакового пространства посвящена обширная литература. В этих работах с различной степенью глубины и обобщенности рассматриваются методы, алгоритмы и критерии минимизации исходного описания применительно к определенным классам задач обработки данных: распознавания образов, регрессионного анализа, кластеризации и т.д.

Рассмотрим наиболее известные методы снижения размерности признакового пространства, которые нашли широкое применение в различных прикладных исследованиях.

Снижение размерности исходного пространства признаков представляет по существу переход от исходной системы признаков x=(x¹,x², … , xⁿ) к новой системе , включающей меньшее число признаков (n'<n), чем исходная система. При этом новые признаки  (j=1,2,…,n') формируются из исходных признаков   x^j(j=1,2,…,n'). Снижение размерности исходного пространства осуществляется путем решения оптимизационной задачи следующего вида:

,

где Ф(х)- заданная мера информативности n -мерной системы признаков x. Согласно, конкретный выбор меры информативности Ф приводит к конкретному методу снижения размерности. Для задачи распознавания образов определение нового набора признаков обычно связано с оценкой качества классификации. Как отмечено в, при малых выборках поиск такого набора можно производить, основываясь на минимизации верхней границы или математического ожидания ошибок классификации при контроле. Известно также, что данные ошибки могут характеризоваться величиной критерия качества разделимости классов в отобранном наборе признаков или величиной ошибочно расклассифицированных объектов, если выбор признаков осуществляется для конкретного правила классификации. При рассмотрении методов выборов признаков далее будем предполагать, что качество (информативность) признаков и их наборов оценивается по одному из этих критериев.

Задача определения оптимального набора признаков имеет относительно простое решение в условиях независимости исходных признаков х¹,х², … , хⁿ . В этом случае последние ранжируются по значениям критерия информативности каждого из этих признаков и для заданного n' определяется наилучший набор  включающий первые n' наиболее информативных признаков ранжированного ряда. Подробное описание этого метода приведена в.

Ситуация существенно усложняется при коррелированности исходных признаков  х¹,х², … ,хⁿ: для определения наилучшего набора из n' признаков необходимо сравнить все возможные  наборов из n признаков. Если n' не зафиксировано, то количество вариантов достигает величины

 .

Отсюда следует, что метод полного перебора хотя и гарантирует определение оптимального набора признаков , однако его можно использовать лишь при небольшом числе исходных признаков.

В связи с этим обстоятельством в прикладных исследованиях обычно используются методы частичного перебора, позволяющие получить субоптимальный набор признаков при сравнительно малых вычислительных затратах. Среди них наиболее распространенными считаются методы, использующие процедуры последовательного отбрасывания признаков (алгоритм "последовательной селекции назад"), последовательного присоединения признаков (алгоритм "последовательной селекции вперед"), а также комбинации этих процедур. Результаты сравнительного анализа этих методов по вычислительным затратам приведены в. Автором показано, что в условиях представительной выборки процедура последовательного присоединения обеспечивает результаты более близкие к оптимальным, чем процедура последовательного отбрасывания. Каждому из этих методов присущи свои недостатки. Например, при реализации процедуры последовательного присоединения нельзя отбросить признак, вклю­ченный в оптимальный набор на предыдущих шагах, а при использовании процедуры последовательного отбрасывания не учитывается статистическое влияние исключенных ранее признаков.

Другим широко используемым методом выбора информативных признаков является случайный поиск  адаптации (метод СПА). Суть этого метода состоит в случайном поиске субоптимального или оптимального набора из n' признаков  с “поощрением” и “наказанием” отдельных признаков  х¹,х², …, хⁿ. В то же время этому методу присущи свои недостатки. Например, неизвестно как его использовать при конкурирующих группах признаков. Более того, в условиях малой обучающей выборки, решения, полученные с помощью этого метода, могут быть статистически неустойчивыми.

Рассмотренные методы выбора признаков отличаются друг от друга способом организации перебора различных сочетаний исходных признаков. В то же время они обладают общей особенностью: каждый из этих методов для оценки качества признаков и их наборов может использовать различные критерии информативности. Однако такая универсальность порождает проблему выбора эффективного критерия, т.к. результат выбора признаков существенно зависит от используемого критерия информативности.

В настоящее время разработан ряд методов выбора признаков, которые ориентированы на использование конкретного критерия информативности. Один из таких методов предложен и использован в. Суть его заключается в использовании меры важности исходного признака, представляющего собой обработанную надлежащим образом степень уменьшения так называемых "голосов" при удалении этого признака. Авторами метода эта мера названа информационным весом признака. Для определения информационных весов используются специальные вычислительные алгоритмы, которые позволяют учитывать взаимосвязи признаков. Основное достоинство этого метода состоит в том, что вычислительные процедуры определения информационных весов признаков и распознавания построены на единой основе - алгоритмах вычисления оценок.

Интересный подход к выбору информативных признаков рассмотрен в. В рамках этого подхода предложен ряд методов определения информативных наборов признаков с учетом ограничений, связанных с затратами на создание технических средств измерения этих приз­наков. Мера информативности последних задается критериями, основанными на использовании евклидового расстояния. В случае, когда признаки детерминированные, определение информативных наборов сводится к решению оптимизационных задач, которые можно описать следующим образом.

Пусть заданы обучающие выборки

каждая из которых представляет соответствующий класс и содержит объекты

 где

 - значение j -го признака, замеренного на i -ом объекте р -го класса, m-количество заданных классов, k_p-количество объектов в р -ом классе.

Для формирования наборов признаков в исходной системе х=(х¹,х², …, хⁿ) используется n'- мерный вектор l=(l₁, l₂, …, l_n), компоненты которого принимают значения 0 или 1, и указывают на отсутствие (l_j=0) или наличие (l_j=1) соответствующего признака (х^j) в рассматриваемом наборе. Если предположить, что n- мерное векторное пространство является евкли­довым, то расстояние между двумя объектами х_pt и х_ql  относительно набора признаков, заданного вектором l, будет выражаться через

.

Кроме того, для формирования критерия эффективности системы распознавания авторами  вводятся следующие меры близости между объектами:

                                                                   (1)

характеризующая среднеквадратичный разброс объектов внутри данного класса Х_p, (p=1,2, …;m);

                                                                  (2)

характеризующая среднеквадратичный разброс данной пары классов

  и 

В качестве алгоритма распознавания выбирается классификатор евклидового расстояния, определющий величину

                                                                                (3)

которая является среднеквадратичным расстоянием между распознаваемым объектом х и объектами класса Х_р,(р=1,2,…,m) по набору признаков, определяемому вектором l. Решающее правило этого классификатора состоит в следующем:  хÎХ_р  если

.

Рассматривая в качестве критерия эффективности системы распознавания функционал, зависящий в общем случае от функций (1), (2) и выбранного алгоритма распознавания (3), задачу определения информативного набора признаков можно свести к оптимизационной

                                                                         (4)

при

                                               ,                                              (5)

где с_j - затраты на создание технического средства, предназначенного для определения признака х^j; c₀ - ресурсы, выделенные на создание технических средств наблюдений.

В прикладных исследованиях обычно можно ограничиться решением оптимизационных задач для частных видов функционала Ф, например:

                                                      (6)

                                                             (7)

                                                                        (8)

при ограничении (5).

Решение каждой из задач (6), ( 7), ( 8) направлено на определение информативных наборов признаков, улучшающих разделимость заданных классов, что, в конечном итоге, повышает эффективность системы распознавания, при соблюдении ограничения, на общую сумму стоимостей технических средств наблюдений. Причем допустимой областью решений этих задач является подмножество вершин единичного гиперкуба, число которых равно .

Один из предлагаемых в  методов решения задач (6), (7), (8) основан на построении непрерывного аналога для задачи дискретной оптимизации. В этом случае вместо дискретной задачи

                                                                                                    (9)

решается задача непрерывной оптимизации

                                                                                                  (10)

в которой параметры l_j могут принимать произвольные значения на отрезке [0,1].

Очевидно, что такая замена имеет смысл в том случае, если функционал Ф(l), определенный для дискретных значений l_j, имеет свое очевидное распространение на непрерывный случай.

Если решением задачи (10) является некоторый вектор l^*, то решением задачи (9) будет считаться такой вектор l⁰, у которого компоненты, соответствующие n' максимальным компонентам l^*, равны 1, а остальные - 0.

Задача (10) является классической задачей нелинейного программирования и ее решение можно получить, привлекая раз­личные численные методы. В для решения задачи (10) предварительно вводятся соответствующие штрафные функции, а затем используется градиентный метод оптимизации. Преимущество данного подхода к определению информативного набора признаков по сравнении с рассмотренными выше методами частичного перебора заключается в надежности получаемых результатов, которая обеспечивается использованием хорошо развитого "математического аппарата численных методов оптимизации. В то время как методы частичного перебора базируются лишь на том или ином эвристическом принципе выбора информативных признаков, который при всей своей "разумности" не исключает возможности пропуска оптимального набора признаков, так как при таком переборе не учитывается большая часть возможных вариантов составления комбинаций признаков.

Завершая рассмотрение наиболее распространенных методов выбора признаков, следует отметить, что, несмотря на достигнутые результаты, решение задачи определения информативных наборов признаков и поныне не потеряло своей актуальности в связи с расширением сферы применения методов распознавания образов на новые прикладные задачи со специфическими особенностями. Эффективному использованию известных методов выбора информативных наборов признаков при решении таких задач препятствует ряд проблем. Одна из них связана с выбором наиболее подходящей для конкретной за­дачи комбинации метода и критерия, т.е. фиксированием для этой задачи такой пары метода и критерия, при использовании которых минимизируются вычислительные затраты и улучшается качество распознавания. Поскольку по приблизительным подсчетам  к настоящему времени разработано более 20 методов выбора информативных наборов признаков и почти 30 критериев информативности, то при решении каждой новой задачи необходимо просмотреть порядка 600 пар методов и критериев, что несомненно вызовет большие трудности. Поэтому в дальнейших исследованиях на первый план должна выступать проблема создания для наиболее распространенных критериев информативности соответствующих методов, которые в отличие от существующих методов частичного перебора были бы более обоснованными и строгими.

Решение этой проблемы позволит значительно упростить процедуру выбора для конкретной задачи наиболее подходящей пары мето­да и критерия: поиск ее  будет связан лишь с определением подходящего критерия.

2. Аналитический подход к формированию информативной подсистемы признаков в задаче распознавания

Рассмотрим задачи формирования информативной подсистемы признаков в классической постановке. Пусть задана априорная информация в виде множества объектов X={x}, каждый из которых описан своим набором признаков x=(x¹, x², . . ., xⁿ). Предполагаем, что произведено разбиение объектов на непересекающиеся классы X₁,X₂,...,X_m и каждый класс X_P содержит k_P объектов, т.е.

Ставится следующая задача. Из исходной системы n признаков необходимо выделить подсистему из п' признаков (где п'<п), которая является наиболее информативной среди всех подсистем мощности п' в смысле наилучшего качества разбиения объектов на классы.

Предлагаемый ниже метод позволяет аналитически построить информативную подсистему признаков на примере одного вида функционала на основе максимизации которого в исходной системе из п признаков выбираются п' наиболее информативных признаков. Метод легко распространяется и на другие виды функционалов, например, на функционал, предложенный в.            Следуя, введем необходимые понятия, которые будут использованы ниже. За меру близости, характеризующую среднеквадратичный разброс объектов классов X_p и X_q, будем использовать величину

.

В качестве меры близости между объектами данного класса  X_P, p=1,2, . . ., m,  примем величину

которая характеризует среднеквадратичный разброс объектов внутри класса Х_р.

Совокупность признаков объектов может быть описана n - мерным булевским вектором l=(l₁, l₂, . . ., l_n), компоненты которого принимают значения 1 или 0 в зависимости от того, будет включен данный признак в информативную подсистему или нет.

Решим задачу определения информативной подсистемы признаков исходя из необходимости максимизации отношения расстояний между классами к среднеквадратичным разбросам объектов внутри классов. Формально это будет следующая задача максимина:

                                    .                                   (1)

Введем обозначения:

                                                                                                                        (2)

Согласно (2) a_j, b_j, c_j, - положительные постоянные величины.

Для s имеем 0 £ s < ½ .

Критерий информативности признаков, заданный в виде функционала задачи (1), является эвристическим и базируется на основополагающей в распознавании образов гипотезе компактности: с увеличением расстояния между классами улучшается их разделимость. Предпочтительными считаются те признаки, которые максимизируют это расстояние. В настоящем разделе для оценивания информативности признаков далее используются эвристические критерии, а именно - критерии, представленные функционалами вида

и

или функционалами сводимыми к этим видам, которые поддаются легко реализуемой максимизации. Выбор этих критериев обусловлен следующими обстоятельствами.

Известно, что наиболее обоснованным и естественным из всех критериев информативности признаков является оценка ошибки классификации, поставленная в соответствии всем наборам признаков, сформулированным на основе исходной системы переменных x=(x¹,x²,...,xⁿ). Преимущество такого определения критерия информативности состоит в том, что основанием служит задача распознавания: в результате выбора определенного набора признаков дается непосредственная количественная оценка информативности данного набора, связанная с качеством классификации. Однако реализация такого подхода к оцениванию информативности признаков требует выполнения значительного объема сложных вычислений.

Другая группа критериев, используемых для оценки качества признаков или их наборов, основана на статистике и теории информации. Эта группа включает критерии, основанные на мерах вероятностной зависимости. Результаты подробного анализа этих критериев приведены в, поэтому здесь отметим лишь, что все они, за исключением расстояния Бхаттачари, дивергенции, имеют сложный аналитический вид. Как отмечено в, большинство критериев этой группы в параметрическом виде использовать неудобно (их расчеты требуют многократного интегрирования), а в параметрическом – оценки вероятности ошибочной классификации получаются смещенными. Ввиду этого использование их для выбора информативных признаков весьма затруднено. Следовательно, возвращаясь к рассмотрению эвристических критериев, следует отметить, что они в отличие от критериев, основанных на статистике и теории информации, являются более простыми. Причем, несмотря на простоту, эвристические критерии в ряде случаев являются оптимальными. Именно эти особенности обусловили широкое применение их при решении практических задач классификации.

Справедлива следующая

Теорема 3.1. Пусть все множество объектов подразделено на классы Х₁,Х₂,...,Х_m, все классы априорно описаны на языке признаков X=(x¹,x²,...,xⁿ). Если априорная информация (2) ранжирована в виде

                                      ³³...³,                                      (3)

то каждый набор информативной подсистемы из п' признаков формируется из первых п' признаков, соответствующих этой ранжированной последовательности.

Доказательство. Ограничим рассмотрение теоремы двумя классами, т.е. p=q=1 и далее, не нарушая общности рассуждений. Будем полагать l_j=1(j=1,2,...,n), так как аналитическим способом выводится формула, на основе которой может быть определена информативная подсистема, состоящая из произвольного числа признаков п', где 1£п'£n. Полагая l_j=1(j=1,2,...,n) и используя обозначения (2), функционал (1) перепишем следующим образом:

                                             .                                             (4)

Для знаменателя функционала (4) используем неравенство Гельдера. Неравенство Гельдера в общем случае имеет вид

где p>1; q=p/(p-1); x_{k ,}y_k ³0 , (k=1,2,...,n).

Полагая p=2 и q=2/(2-1)=2, знаменатель функционала (1) представляем в виде

                                                          (5)

Учитывая (5), выражение (4) записываем в виде:

                                                                       (6)

Учитывая, что 0£s<1/2, из (6) получаем

                                             .                                           (7)

Последовательность величин a_j,b_j,c_j в (7) ранжируем следующим образом:

Тогда для положительных величин  (j=1,2,3,...,n ) можно доказать справедливость неравенства

                                                                                         (8)

где 1 £ l₁ £ l₂ £ l₃ £ l₄ £ n .

Доказательство неравенства (8) приведено в разделе 3.3. Используя неравенство (8) для выражения (7), приходим к следующему результату:

                                                         (9)

С помощью соотношений (9) можно определить информативную подсистему, состоящую из произвольного числа признаков n' в пределах от 1 до n,

Теорема 2. Пусть имеется два набора информативных признаков и соответственно п' и п'' - числа признаков в каждом наборе, причем п'<п''. Тогда информативный признак, включенный в набор с числом признаков п', входит в набор с числом признаков n".

Если функционал (1) представим как функцию от числа выделенных информативных признаков n', т.е. Ф(п'), то справедлива следующая

Теорема 3. Если априорная информация (2) ранжирована в виде последовательности (3), то в зависимости от числа информативных признаков для функционала справедливо выражение

Ф(п'=1)³ Ф(п'=2)³...³ Ф(п'=n)

Доказательства последних двух теорем непосредственно следуют из неравенств (9). Результаты, полученные для двух классов, обобщим для m классов.

Все пары из т классов можно перенумеровать, вводя индекс n=1,2,...,q ,где

.

Следовательно, для каждой пары из m классов можно записать свое выражение (9). При фиксированном п' выбираем тот набор признаков, для которого выражение

принимает наименьшее значение.

Сформулируем описанный здесь метод формирования информативной подсистемы признаков в виде алгоритма, обозначаемого далее как  A₁.

Алгоритм  А₁

Шаг 1. Вычисление значения функционала

для каждого исходного признака в отдельности.

Шаг 2. Ранжирование значений функционала, полученных на шаге 1, в виде последовательности неравенств (3).

Шаг 3. Формирование наиболее информативной подсистемы признаков заданной мощности п' из тех исходных признаков, которым соответствуют первые п' элементов ранжированной последовательности (3).

3. Упрощенный метод классификации с использованием аналитического подхода формирования информативной подсистемы признаков при наличии обучающей выборки

На основе разработанного аналитического подхода формирования информативной подсистемы признаков предложен упрощенный метод. Он состоит в выделении в исходной информативной системе признаков наименьшей подсистемы признаков, являющейся максимально информативной в смысле заданного критерия качества распознавания контрольных объектов. Следуя, введем необходимые понятия и обозначения.

Пусть задана обучающая выборка в виде множества объектов {х}, каждый из которых описан своим набором признаков х=(х¹, х², ..., хⁿ). Предполагается, что произведено разбиение объектов на непересекающиеся классы Х₁,Х₂ ,...,Х_m и каждый класс X_p содержит k_p  объектов

В качестве меры близости между объектами одного класса X_p  (p=1,2, ..., m) используем величину

                                                 (1)

которая характеризует среднеквадратичный разброс объектов внутри класса; здесь - булевский вектор, причем

- усредненный объект класса .

Пусть x=(x¹, x², . . ., xⁿ) - некоторый контрольный объект, который необходимо распознавать. За меру близости объекта x к классу X_p будем использовать величину

                                                     (2)

Принцип распознавания определим следующим образом: будем считать, что объект x на основе априорной информации вероятнее всего принадлежит классу X_q, если

                                                                                            (3)

Теперь введем меру достоверности распознавания. Если каждый класс X_p содержит k_p объектов, то общее количество объектов будет равно . Пусть m^* - число правильно распознанных объектов из общего числа объектов  по решающему правилу (3). Тогда в качестве меры достоверности распознавания можно использовать величину

                                                                                                           (4)

Как следует из (4), величина параметра P колеблется в пределах от 0 до 1 . Очевидно, что чем больше значение P, тем больше правильно распознанных объектов по алгоритму (3), т.е. лучше решена задача распознавания.

В (1) в качестве l=(l₁,l₂,...,l_n) будем использовать результаты аналитического подхода формирования информативной подсистемы признаков. Сущность задачи на данном этапе заключается в том, что в начале используются все информативные подсистемы признаков n¢=1,2,....,n, удовлетворяющие решению задачи

,

где n¢- число информативных признаков.

Затем среди информативных подсистем признаков  требуется выбрать такую подсистему, которая обеспечивает наилучшее качество распознавания. Формально это выражается с помощью следующей задачи оптимизации

Здесь приведены результаты по оценке работоспособности разработанных алгоритмов построения информативного набора признаков.

Экспериментальным исследованиям подвергались алгоритмы, имеющие условные обозначения A₁,A₂ и A₃     (см. разделы 3.2 и 3.4). Первый из указанных алгоритмов основан на аналитическом методе формирования информативной подсистемы признаков, предложенном в настоящей работе (см. n. 3.2); второй - реализует метод, основанный на максимизации критерия информативности, представленный с помощью функционала Фишеpского типа (см. n. 3.4); третий реализует известный метод "случайный поиск с адаптацией", являющийся в настоящее время одним из наиболее эффективных методов построения информативного набора признаков.

При формировании обучающей выборки использовались 33 модельных сигналов двух классов (первый класс содержал 9 объектов, второй - 24), сгенерированных для проведения экспериментов. Каждый из этих сигналов был представлен значениями 22 признаков.

В качестве единого критерия информативности наборов признаков при реализации алгоритмов A₁,A₂ и A₃ использовался функционал (см. п.п. 3.2 и 3.3) вида

В таблице 1, 2 и 3 приведены результаты экспериментов по определению информативных наборов признаков с использованием алгоритмов A₁,A₂ и A₃. Представленные в таблице 1, 2 и 3  данные показывают об эффективности алгоритма A₂ в смысле максимизации заданного критерия информативности. В то же время информативные подсистемы признаков, найденные с помощью алгоритма A₁, несколько отличаются по составу от соответствующих подсистем признаков, найденных с применением алгоритма A₃.

Таким образом, на конкретной экспериментальной обучающей выборке подтвердился факт о том, что среди представленных алгоритмов на экспериментальное исследование алгоритм A₂  обеспечивает лучшие результаты по сравнению с алгоритмами A₁ и A₃, для рассматриваемого критерия информативности наборов признаков.

В результате применения алгоритма A₂ получена наименьшая подсистема информативных признаков (n¢ =4), являющаяся максимально информативной в смысле наилучшего качества классификации.

При этом информативный набор включал в себя следующие признаки

x²,  x³,  x²¹,  x²².

Таблица 1. Результаты реализации алгоритма А₁

Таблица 2. Результаты реализации алгоритма А₂.

Таблица 3. Результаты реализации алгоритма А₃

Контрольные вопросы

1. Сущность задачи построения информативного набора приказов и основные подходы к её решению.
2. Каким образом формировалься критерий информативности признаков?
3. Оценка сложности алгоритма А1.
4. Сущность упрощенного метода классификации объектов в чем заключается.

   {/spoilers}