Тест Седлицкого

Труды лаборатории искусственного интеллекта Массачусетского технологического института, MIT Papers on Artificial Intellect Systems, Massachusetts Institute of Technology, Cambridge, Massachusetts, Volume V, 1986, pp. 52-55

К вопросу о стрессовой устойчивости систем ИИ

Кирилл Седлицкий

Далеко не всегда методы, доселе нами применяемые для тестирования систем искусственного интеллекта (ИИ), оказываются действительно соответствующими возросшей сложности и самих систем, и решаемых ими задач. Цель моей короткой заметки заключается в информировании коллег о не совсем пока объяснимом побочном эффекте, наблюдавшемся нами в ходе проводимых в последний год тестов систем ИИ на экстремальное изменение среды их функционирования.

Постановка задачи.

Изучение реакции системы на радикальное изменение условий внешней среды с целью проверки устойчивости самой системы и выявления ресурсов совершенствования алгоритма её тестирования.

Исходный материал.

Множества фактически реализованных систем сравнимого уровня сложности (разбитых на группы), действующих в окружении подобных себе систем. Математические модели в тестировании не участвовали. Возраст систем – от полутора лет.

Существо эксперимента.

Имитировалось внезапное и полное исчезновение привычной для системы среды себе подобных и помещение её в условия полного и безусловного «одиночества» при сохранении всех остальных признаков «ненаселённого» внешнего мира.

Первичные результаты.

Подавляющее большинство систем каждой группы демонстрировали прогнозируемое поведение – когда эффективность действия системы как в среде себе подобных, так и в полном «одиночестве» есть лишь вопрос той или иной степени эффективности конкретного алгоритма и стратегии. Наряду с этим, в каждой группе обнаружились единичные системы, реакция которых на тотальное «одиночество» существенным образом отличалась от таковой у их «согруппников». Ни в одном из зафиксированных случаев эти особенности поведения не подпадали под квалификацию системных сбоев или изъянов алгоритма. Во избежание излишне громоздких синтаксических конструкций, в дальнейшем изложении будем называть такие системы «системами вида А».

Будучи возвращены, вместе с остальными «соплеменниками», в привычное «населённое» окружение, системы вида А продолжали демонстрировать отличия в поведении, никак не объясняемые особенностями их стратегий. При повторном помещении в «одиночество» реакция обычных систем была такой же, как и в первый раз – система предсказуемым образом подстраивалась под изменившиеся внешние условия. Необычность же поведения систем вида А, вновь оказавшихся в сенсорном вакууме, только усугублялась. В последующие циклы «превращений» некоторые из таких систем вообще выходили из строя.

Для чистоты эксперимента опыты были повторены на новых группах систем, с той разницей, что у трети вновь выявленных систем вида А (с особенной реакцией) при первом повторном возвращении в «населённое» окружение полностью стирались все воспоминания об их недавно пережитом внезапном «одиночестве». У другой трети стирался весь их «жизненный опыт» за последние полгода. И вот что происходило в последующие циклы: треть с локально стёртой памятью о недавнем «ужасе» ничем принципиально не отличалась на последующих витках от трети с нетронутой памятью – так же втягиваясь в порочный круг накапливающихся особенностей, только с отставанием на один цикл; треть же с тотально стёртой памятью совершенно теряла все свои особенности «одинокого поведения», утрачивая, таким образом, и свою причастность к виду А.

Если следовать в русле настойчиво возникающих аналогий, отмахиваться от которых у нас нет внятных оснований, то упомянутые особенности поведения систем вида А надо признать проявлением их некого особого склада, сформированного их же предшествующим «жизненным опытом» за достаточно протяжённый срок. Тогда, по совокупности всех обстоятельств, этот «особый склад» есть ни что иное, как «индивидуальность». Спорность применения такового термина к системам техническим (пусть и высокоинтеллектуальным) никак не устраняет следующей проблемы: с одной стороны, для утверждения в каких-либо выводах нам определённо требуется наработка статистики описанных экспериментов, с другой же стороны, очевидным становится вопрос об этической правомерности таковых опытов – в той самой мере, в какой мы здесь начинаем говорить об «обретённой индивидуальности».

Игорь Савченко

Минск, апрель 2014