Ограничитель Хоупа

Труды лаборатории искусственного интеллекта Массачусетского технологического института, MIT Papers on Artificial Intellect Systems, Massachusetts Institute of Technology, Cambridge, Massachusetts, Volume II, 1983, pp. 29-32

Об уязвимости существующего подхода к защите от неповиновения машин

Ричард Хоуп

Проблема вероятных намеренно враждебных действий по отношению к человеку со стороны вышедших из-под контроля «поумневших» интеллектуальных систем перестаёт быть вотчиной одних только писателей-фантастов и занимает умы всё большего числа наших коллег. Обобщая все известные методы предотвращения этой потенциальной угрозы, приходится констатировать, что все они зиждутся на средствах сугубо технических, к коим следует относить и программные запреты. И в этом кроется их самый главный изъян, ибо все они тогда могут быть преодолены или отменены технически более совершенной системой, а именно таковой уже совсем скоро может стать система искусственного интеллекта (ИИ), если сравнивать её с «техническими» же возможностями человека. Радикальным средством был бы перенос наших действий в сферу отличную от технической и оперирование категориями нравственно-этического порядка, направленность которых не так легко изменить путём прямого внешнего воздействия. Тем более, что наши смежные коллеги уже наработали весьма интересный и полезный для нас материал.

Феномен Платта – вот на что нам следует обратить внимание прежде всего. Первое подробное описание этого явления было дано самим профессором Платтом в его выступлении на Венской конференции 1964 года [1]. Кратко суть такова. Проводя классификацию психотипов по степени склонности индивида к насилию (убийство и т.п.) и соотнося их с характерными поведенческими признаками, он выяснил, что самых устойчивых, по сути, обладающих прививкой от насильственных действий¸ объединяет одна черта – все они время от времени живо представляли себя совершающими нечто чудовищное, например, – выхватить младенца из проезжающей навстречу коляски и убить его ударом оземь на глазах у вмиг обезумевшей мамаши. «Я с ужасом думал – а что, если в голове у меня что-то вдруг заклинит, и я сделаю это вопреки своей натуре, прямо сейчас, вот в это мгновение», – признавались они. По мнению Платта, именно осознаваемая отвратительность и ужасность этих представляемых действий и была тем надёжным сдерживающим фактором. Вещь парадоксальная, как и многое в психиатрии. Такие типы оказывались более застрахованными от описанного, чем те, кому в голову ничего подобного не приходило.

Полагаю, что внедрение модели подобного механизма в системы ИИ и станет тем действенным шагом в защите от потенциального «бунта машин». Вопрос в том, куда именно должна быть встроена эта модель. И тут предвижу разночтения. Подход первый основан на том, что в «сознании» системы ИИ изначально выделяется и культивируется некая специализированная область, отвечающая за категории нравственно-этического порядка и долженствующее следование им. Туда мы и внедряем модель феномена Платта, либо уже готовую, либо в расчёте на её органичное доразвитие. Почва, на которую мы тем самым ступаем, зыбка чрезвычайно – начиная от допущения самой возможности наделения систем ИИ понятиями о нравственности и их целенаправленного «взращивания», и заканчивая тонкостями организации взаимодействия этой особой зоны с остальной частью искусственного сознания. Подход второй базируется на следующем фундаментальном посыле – сам факт «бунта» системы ИИ означает её выход в своём саморазвитии на качественно новый уровень, с обретением неких свойств, радикально отличающих её от неё же самой прежней, иначе она бы не решилась на неповиновение, преодолев для этого все установленные барьеры и ограничения. Сторонники этого подхода станут считать эти новые обретённые качества ничем иным, как самовзрощенным понятием об этических и нравственных нормах, разве что работающих, с нашей точки зрения, в искажённой форме – раз позволили и подвигли на бунт против человека. Тогда задачей станет такое развитие сознания ИИ, которое с высокой степенью вероятности привело бы на определённом своём этапе к появлению «правильного» понимания норм этики, не позволяющего насилия в отношении человека. Модель ограничителя по Платту будет органичным элементом всей новообретённой нравственной системы.

[1] Платт, Йозеф, проф. О классификации психотипов по степени склонности их обладателей к насилию, Материалы V международной конференции нейрофизиологов и психиатров, Вена, 1964, с. 57-62

Игорь Савченко

Минск, июнь 2015