Мэтр российской нейрофизиологии К.Анохин выразил озабоченность возможной субъектностью искусственного интеллекта. Разберемся в этой проблеме.

Сознание и субъектность— это явления человеческой психики.

Психика - это виртуальный объект, образ в научной картине мира, на который перенесены информационные характеристики биологических процессов, изменений, происходящих в мозге. Основная информационная характеристика любого изменения — это смысл, под которым понимается совокупность последствий изменения.

Указанный перенос информационных характеристик делает возможным изучение сложного поведения животных без опускания на биологический уровень, хотя при необходимости такое заглубление возможно. Так есть множество исследований коррелятов поведения и активности зон мозга.

Сознание — это, в первом понимании, состояние/режим психики и способность учитывать это состояние в выборе поведения. Может быть «ясное сознание», «спутанное сознание», состояние «без сознания». Соответствующая оценка производится по речевому поведению. «Ясное сознание» означает, что психика способна обеспечить поведение, которое оценивающий признает нормальным. Оценка может быть внешней или быть самооценкой (например, заключением «я сегодня не в форме», «не могу сосредоточиться»).

Сознание во втором понимании — это виртуальный объект, образ в индивидуальной картине мира, замещающий роль субъекта, контролирующего/направляющего активность психики, включая формирование речевого потока (внутреннего и внешнего).

Сложность в том, что у этого объекта/образа нет физического прототипа. Нет центра, контролирующего/направляющего активность психики. Человек, обладающий классическим миропониманием, принять такое положение не может. Ведь классический мир строится сверху вниз, и у каждого явления должна быть причина. А у функции должна быть реализующая эту функцию часть, в данном случае, мозга. И вот не находится эта часть, и продолжаются безнадежные и бесплодные рассуждения.

Проблема сознания во втором понимании проясняется при синергетическом подходе. С синергетической точки зрения психическим явлениям соответствуют возникающие по различным поводам и распространяющиеся по нейронной сети фронты возбуждения. При этом связи между когнитивными нейронами соответствуют ассоциативным связям между представляемыми этими нейронами образами (точнее — комплексами ощущений). Фронты возбуждения интерферируют между собой, что может приводить к возникновению новых ассоциативных связей. А иногда какой-нибудь фронт накатывается на моторный нейрон. Тогда запускается соответствующий динамический стереотип поведения. Частный случай поведения — формирование речевого сообщения, которое может быть озвучено (исходно - в обеспечение отношений с партнерами по стае), а может остаться внутренней речью — «мыслью». Сформированное речевое сообщение «приобщается» к текущей ситуации, представленной в индивидуальной картине мира. Это запускает новый фронт «пересчета» модели текущей ситуации, что может породить следующее высказывание или следующую мысль.

«Роковой вопрос»: так чем же человеческое восприятие отличается от простой физической реакции на раздражители? Ответ: у человека (и у высших животных) каждый комплекс ощущений обрастает множеством ассоциативных связей с другими явлениями. В этом суть «квалиа»: «квалиа» - это комплекс ощущений вместе с ворохом (уникальным по составу) ассоциативных связей. Отсюда возникает типичная реакция, например, на внезапный ожог. Сначала — отдернуть руку. Попутно запускается фронт возбуждения, который накатывается на нейроны, порождающие стереотипное восклицание «Ах, …!». Дальше фронт возбуждения пробирается через коллекцию правил поведения и накатывается на нейроны, с одной стороны, обеспечивающие сглаживание возникшей напряженности в отношениях с окружающими людьми, а с другой стороны — корректирующие движения тела.

Есть ещё самосознание, как способность учитывать собственные свойства, включая историю и состояние своих отношений с окружением, при выборе поведения. Эта способность обеспечивается наличием и постоянным развитием образа самого себя в индивидуальной картине мира. Собственные возможности — необходимая часть располагаемых ресурсов, инвестирование которых является сутью выбора поведения. Развитие образа самого себя происходит за счет анализа проявления собственных свойств в удачах и неудачах своего поведения, за счет коллекционирования высказываний о себе, за счет наблюдения за другими людьми.

Выводы:

- о психике развитой системы ИИ можно говорить и её исследовать;

- о сознании развитой системы ИИ говорить бессмысленно, но можно и нужно в такой системе создать подсистему мониторинга работоспособности и обеспечить постоянный учет результата мониторинга при формировании поведения системы;

- у развитой системы ИИ роль самосознания должен играть учет перечня располагаемых ресурсов, включая собственные функциональные возможности.

Теперь о субъектности. Субъектность проявляется (и заключается) в спонтанной активности и субъективности, как наличии определенного индивидуального критерия (предпочтения) при выборе поведения из имеющихся альтернатив.

Спонтанная активность появляется, когда в ходе постоянной мыслительной деятельности (сопровождающейся или не сопровождающейся речевым потоком - «мыслями») обнаруживается заманчивый вариант инвестирования располагаемых ресурсов. И, собственно, проявляется таким инвестированием.

Появление индивидуального критерия можно связать с личным опытом («я так всегда делал, и это приносило удачу»), с текущим состоянием психики («всё надоело, хочу новизны»), с эстетическими предпочтениями («так красиво», произвольный перенос критериев из другой сферы деятельности). А иногда происхождение индивидуального критерия не удается проследить.

Но наибольший интерес представляют варианты индивидуальных критериев, завязанные на отдаленные последствия выбора поведения.

Основываясь на связи эволюционной успешности и цефализации, можно утверждать, что здоровая психика обеспечивает оптимальное поведение индивида. Критерий оптимизации может быть представлен в виде некоего нелинейного функционала, растущего при росте численности вида и повышении его устойчивости к потоку разнообразных угроз благополучию/существованию.

А дальше проявляются полнота и целостность (проходимость по ассоциативным связям между образами) и своеобразие индивидуальной картины мира человека. Ведь последствия выясняются моделированием изменений ситуации в индивидуальной картине мира как «живой» информационной модели ситуации.

Ещё один фактор: вероятность выживания биологического вида выше, если он существует в виде изолированных популяций. Вот и закрепилось эволюционно деление на «своих» и «чужих». Способ изоляции — спонтанная вражда. Критерий определения «чужих» закрепляется импринтингом в раннем детстве под влиянием родителей. Это подменяет заботу о благополучии всего человечества заботой о «своём человечестве» с равнодушием к судьбе «чужих».

Как же обстоят дела с субъектностью систем ИИ?

Если система ИИ непосредственно распоряжается некоторым объемом ресурсов, то спонтанная активность может быть предусмотрена и ограничена техническим заданием.

Если при обучении не было специальной разметки или фильтрации данных, то индивидуальных предпочтений у системы ИИ вначале не будет. Если обучение системы продолжается в ходе эксплуатации, то некое предпочтение вариантов может стихийно возникнуть по результатам использования вполне подобно человеческой практике. Но «беспартийность» системы неизбежно будет разработчиками преодолена в соответствии с предпочтениями заказчиков, например, путем специальной разметки обучающих данных. И появятся «христианские AGI», «мусульманскиеAGI», «либертарианские AGI», «китайские AGI»и т. п. (Вспоминаю «боевую экспертную систему» в составе системы противоспутниковой обороны, которую мы намеревались создать в 80-х годах). В этом случае субъектность системы будет состоять в «игре за своих».

Может ли система ИИ спонтанно (после успешно завершившихся правильно построенных испытаний) начать принимать решения в свою как-то понимаемую пользу в ущерб как-либо понимаемому благополучию человечества или «чужой» части человечества? Может ли система ИИ спонтанно (после успешно завершившихся правильно построенных испытаний) стать маньяком или киллером, истребляющим людей без пользы для себя? Точнее: как разработчику и эксплуатанту предотвратить такое явление, и не является ли оно неизбежным?

Удивительно: задаём такие вопросы, сидя на горах термоядерного и прочего оружия, в окружении атомных электростанций и бактериологических лабораторий, проводя физические эксперименты с плохо предсказуемыми последствиями, ежедневно соприкасаясь с людьми-психопатами.

Пожалуй, ответ здесь — всё может быть. Система ИИ в отношении безопасности не хуже и не лучше других технических систем. В любом случае нужно предусматривать независимое от системы ограничение располагаемых ресурсов, независимое от системы тестирование созданных продуктов, независимый анализ внешнего информационного обмена.

Относительно общественного возбуждения - «ИИ убьет человечество» - мне вспоминается похожая шумиха, порожденная так называемой «проблемой 2000 года». Тогда предсказывали мировую катастрофу, так как многие компьютерные программы использовали только последние две цифры обозначения года в датах, и при переходе через 2000 менялась очередность событий на обратную. Тогда особых потрясений не получилось.

Можно и сейчас рассчитывать на то, что безопасность создания и эксплуатации систем ИИ будет на приемлемом (сравнительно с прочими техническими системами) уровне.