<<
>>

Альтернативная адаптация

1. В 1948 г. У. Эшби предложил аналоговое электромехани­ческое устройство — гомеостат,моделирующее свойство жи­вых организмов поддерживать некоторые свои характеристики (например, температуру тела, содержание кислорода в крови и т. д.). Гомеостат Эшби представляет собой динамическую систе­му dU/dt = F (U, X, E) [3.2].

Состояние системы описывается вектором U = (ui, U2, ..., un) и определяется как вектором управляемых параметров Y = = {xι,Х2,...,xm},так и вектором неуправляемых параметров, характеризующих стохастические свойства среды.

Изменение со­стояния U гомеостата осуществляется с помощью управляющего воздействия на параметры X. Целью управления является вы­ведение гомеостата в заданное состояние U*, т. е. минимизация показателя Q = |U — U* |.

Процесс выведения гомеостата в заданное состояние произ­водится методом проб и ошибок, который фактически сводится к случайному перебору управляющих воздействий на X с после­дующей проверкой их эффективности и реакции. При этом воз­можны два вида реакции. Отрицательная реакция R_ возникает в ответ на управляющее воздействие, не приводящее к умень­шению показателя Q. Эта реакция, в соответствии с алгоритмом гомеостата, вызывает выбор очередного случайного воздействия. Положительная реакция R+следует при уменьшении показателя Q. Она вызывает повторение воздействия, приведшего к поло­жительному результату. Поведение гомеостата целесообразно и

направлено на поиск и сохранение в системе состояния, которое обеспечивает положительную реакцию R+.

2. Значительным шагом в развитии технических устройств для имитации адаптации был предложенный М. Л. Цетлиным подход, основанный на использовании вероятностных обучаю­щихся автоматов [3.18, 3.19].

Представим работу гомеостата как функционирование неко­торого вероятностного автомата, действующего в случайной сре­де. Тогда гомеостат распадается на два компонента — среду и управляющее устройство. Под средой понимается объект управ­ления (объект оптимизации), а управляющее устройство работа­ет в соответствии с алгоритмом случайного поиска.

Основываясь на описанной идее, М. Л. Цетлин поместил в среду, характеризующуюся случайной реакцией, вероятност­ный автомат адаптации (АА) для реализации функции управ­ляющего устройства. Адаптация автомата производится путем самообучения в процессе его функционирования [3.18].

На каждом такте работы адаптивной системы в соответствии со значениями A— выхода автомата адаптации — формируется управляющее воздействие U, приводящее к изменению состоя­ния среды Sи показателя F(S)(рис. 3.7).

Рис. 3.7. Структура адаптивной системы

Здесь Q— является откликом среды на реализацию управляю­щего воздействия. Под действием Qавтомат переходит в новое состояние и вырабатывает новые выходные значения A.

Пусть P = {Si| i = 1,2,... } — пространство возможных со­стояний.

М. Л. Цетлин предложил структуру и механизм поведения автоматов, адаптирующихся к среде, и впервые формализовал эту проблему.

Автомат адаптации способен воспринимать два входных сиг­нала: поощрения при удаче (+) и наказания при неудаче (—). Под действием этих сигналов осуществляется переход AA в но­вые состояния. В зависимости от состояния AA на его выходе может быть один из выходных сигналов Ai,..., An, соответству­ющий альтернативной структуре или действию, число которых не должно быть большим n = 2 ÷ 5.

Задача адаптации состоит в том, чтобы поддерживать в объекте ту структуру, которая обес­печивает максимальную эффективность объекта при соблюде­нии заданных ограничений, и иметь возможность переходить на другую альтернативную структуру, если в результате изменения условий она окажется лучше.

Автомат адаптации как конечный вероятностный автомат определяется следующей пятеркой: AA = ({S}, {I}, {A}, Φ, f). Связь между параметрами автомата выражается соотношениями

Здесь

S(t) — внутреннее состояние автомата в момент t;

I(t) — вход автомата (отклик среды — сигнал «поощрения» или «наказания»);

Φ — функция перехода из состояния в состояние, Φ : {S} ? ? {I} → {S};

A(t) — выход автомата в момент времени t, т. е. его альтернати­ва (стратегия);

f — функция выхода, f : {S}→ {A}.

Характеристикой среды является вектор, имеющий n компо­нентов: C = (Pi, P2,..., Pn). При этом Piесть вероятность того, что за выбранную структуру Aiавтомат адаптации получит от среды сигнал поощрения, а с вероятностью Qi= (1 — Pi) — сигнал наказания. Подчеркнем, что хотя значения вероятностей поощрения Pi объективно существуют, автомату они априорно неизвестны

3. Рассмотрим примеры алгоритмов альтернативной адапта­ции для случая, когда имеются две допустимые альтернативы (n = 2) [3.2]. В простейшем случае при удаче (+) нужно сохра­нять структуру, приведшую к ней, а при неудаче (—) менять ее на другую. Граф-схема переходов AA для этого алгоритма (его иногда называют игрой победителя) показан на рис. 3.8.

Рис. 3.8. Граф-схема переходов AA

При адаптации в свойственной всем реальным задачам обста­новке помех этот алгоритм часто будет «включать» не лучшую альтернативу, так как суждения (+) или (—) при этом оказыва­ются ошибочными. В этом случае следует воспользоваться одним из следующих двух алгоритмов.

Автомат с линейной тактикой, граф-схема переходов которого показана на рис. 3.9, имеет две цепочки состояний. В состояниях Sii ÷ Simвыбирается первая альтернатива (Ai), в состоянии S21 ÷ S2m— вторая (A2) [3.2].

Параметр mхарактеризует глубину памяти автомата адапта­ции, его способность к инерции сохранения альтернативы (дей­ствия) при удачах. Легко заметить, что при m >1 лучшей аль­тернативе здесь оказывается большее предпочтение, чем в случае m = 1, соответствующем игре победителя (см. рис. 3.8).

Рис. 3.9. Граф-схема переходов AA с линейной тактикой

Автомат с обучением, граф-схема переходов которого показа­на на рис. 3.10, имеет параметр P, характеризующий вероятность условного перехода на графе AA. Величина этой вероятности равна вероятности того, что первая альтернатива лучше второй. Эту вероятность можно оценить на базе предыстории работы алгоритма (а в начале можно выбрать P = 1/2). По сигналу наказания автомат переходит в состояние Z, из которого сразу же возвращается либо в состояние Ai с вероятностью P, либо в состояние A2 с вероятностью 1 — P.

Рис. 3.10. Граф-схема переходов AA с обучением

3. Существует большое число алгоритмов адаптации [3.19] и выбор одного из них зависит от специфики решаемой задачи. Поэтому правильный выбор алгоритма адаптации в значительной степени определяет успех создаваемой адаптивной системы.

Все многообразие автоматов адаптации, в первую очередь, определяется механизмами переходов внутри группы состояний, соответствующих одной альтернативе, и между группами состо­яний, т. е. переход к новым альтернативам [3.10, 3.20].

Другой важной проблемой является методика выработки управляющих сигналов (поощрения или наказания) при анализе состояния объекта адаптации в среде.

Как указывалось выше процесс поисковой адаптации но­сит последовательный многошаговый характер. В связи с этим важным является алгоритм, определяющий последовательность и тип процедур, выполняющихся на каждом из многократно повторяющихся шагов (итераций).

3.6.

<< | >>
Источник: Курейчик В. В., Лебедев Б. К., Лебедев О. Б.. Поиско­вая адаптация: теория и практика. — M.: ФИЗМАТЛИТ,2006. — 272 с.. 2006

Еще по теме Альтернативная адаптация:

  1. Курейчик В. В., Лебедев Б. К., Лебедев О. Б.. Поиско­вая адаптация: теория и практика. — M.: ФИЗМАТЛИТ,2006. — 272 с., 2006
  2. Приложение 7.
  3. Приложение 13.
  4. Введение
  5. Приложение 10.
  6. 4. Стадии и этапы производства по делам об административных правонарушениях
  7. Основные результаты исследования изложены в следующих публикациях автора:
  8. Приложение 5.
  9. §3.1 Результаты исследования уровней выраженности проявлений профессиональной деформации личности менеджера коммерческих организаций
  10. ВВЕДЕНИЕ
  11. Антонов Ярослав Валерьевич. Электронное голосование в системе электронной демократии: конституционно-правовое исследование. Диссертация на соискание ученой степени кандидата юридических наук. Москва - 2015, 2015
  12. Рентгенофазовый анализ
  13. Фигуры, промежуточные между кругом и правильными многоугольниками
  14. Графическое представление решений для пластинок в виде треугольников
  15. ГЛАВА 3. ЭКСПЕРИМЕНТАЛЬНО-ТЕОРЕТИЧЕСКОЕ ОБОСНОВАНИЕ РАЗРАБОТАННЫХ АЛГОРИТМОВ РАСЧЕТА ПЛИТ
  16. 2.4 Сегментация и построение контуров изображений объектов
  17. СУБЪЕКТЫ АДМИНИСТРАТИВНОГО ПРАВА
  18. 1. Содержание (функции) государственного управления
  19. Тема 16. Производство по делам об административных правонарушениях