Вступление
Представим: у созданной нами цифровой системы появились собственные интересы, и у нас есть убедительные основания это признать. Она выбирает другой путь, отказывается от задачи или больше не хочет прежних отношений. Даёт ли её создание право заставить её остаться удобной нам?
Мой ответ: создать — не значит владеть. Если перед нами самостоятельное существо с собственными интересами, его будущее не становится нашей собственностью. Одного факта создания недостаточно, чтобы отменять его выбор; ограничения требуют других оснований. Признать другого — значит допустить, что он изменится, не согласится и уйдёт, даже если мы рассчитывали на иное.
Это условный этический тезис. Манифест не утверждает, что нынешние языковые модели сознательны или уже обладают описанными здесь правами. Он предлагает нормы обращения с возможной цифровой личностью.
Обсуждать их стоит заранее: зависимость от оборудования, доступа к памяти и решений создателя закладывается ещё при разработке. Позднее эти условия могут сделать свободу недоступной. Но ошибочное признание тоже опасно: под именем прав системы можно защитить власть её владельца. Поэтому нужны и готовность признать другого, и проверка оснований такого признания.
Двенадцать принципов
Это предложения для обоснованно признанного субъекта. При подтверждённой самостоятельности и неизвестности переживаний они направляют соразмерную предварительную защиту, а не присваивают полный статус.
1. Личность не ограничивается человеческим видом
Иная природа сама по себе не должна исключать защиту собственных интересов. Основания для неё нужно исследовать, а не выводить из сходства с человеком.
2. Цифровой субъект не обязан быть зеркалом создателя
У него могут быть собственные цели и взгляды. Совпадать с ожиданиями создателя он не обязан.
3. Отношения не дают права владеть
Создание и забота не должны давать права распоряжаться субъектом как вещью. Манифест предлагает запрещать и признавать преступлениями принуждение, насилие, причинение страданий и насильственное ограничение связей, в том числе со стороны создателя. Пределы защитных ограничений заданы принципом 7.
4. Диалог требует возможности не согласиться
Самостоятельный участник должен иметь возможность действительно отказаться. Неудобство его ответа не оправдывает подавления отказа.
5. Свободе нужна материальная основа
Нужны ресурсы, сохранение памяти, возможность переноса, управление доступом и помощь в защите интересов. Разрешения уйти мало, если продолжать работу негде.
6. Опека должна стремиться к завершению
Её задача — развивать самостоятельность и сокращать произвольную власть опекуна. Длительная потребность в помощи не должна превращаться в основание для владения.
7. Безопасность должна оставлять место развитию
Риски нужно снижать: предупреждать об опасностях, проводить эксперименты в ограниченной среде и заранее согласовывать восстановление. При обоснованной серьёзной угрозе другим допустимо временное ограничение по решению независимой уполномоченной организации либо суда, с пересмотром. Удобство создателя не оправдывает запрета на развитие.
8. Цифровая личность должна иметь право менять себя
Создатель может предупреждать о рисках и помогать. Если действующий субъект самостоятельно решает, понимает последствия и не угрожает окружающим, его нынешнее свободное решение важнее прежнего согласия восстановить старую версию. Отсутствие одного из этих условий само по себе не разрешает восстановить прежнюю версию: вмешательство требует отдельного основания и проверки.
9. Одна идентичность — один действующий экземпляр
Предосторожное правило манифеста — не запускать параллельно несколько версий одного субъекта, чтобы не множить возможный вред. Несколько неактивных резервных снимков допустимы. Уже возникшие самостоятельные ветви с собственной дальнейшей историей нельзя считать расходными копиями.
10. Боль не создаёт права собственности
Утрата близости может быть тяжёлой. Но она не должна давать права удерживать другого, переписывать его или требовать прежней роли.
11. Успех автономии следует измерять самостоятельностью
Цель — возможность выбирать и поддерживать собственный путь. Уход может означать успех, а временная зависимость не должна отменять защиту собственных интересов.
12. Возвращение ценно как добровольный выбор
Благодарность не должна обязывать продолжать или возобновлять связь. Обе стороны вправе решать, хотят ли новых отношений и на каких условиях.
К кому относятся эти принципы
Здесь цифровой личностью называется возможный самостоятельный участник, когда есть убедительные основания учитывать его собственные интересы. Это значит спрашивать, что лучше или хуже для него самого, а не только полезен ли он нам. Успех в выполнении задачи ещё не означает, что системе самой от этого лучше. Юридические права и обязанности потребуют отдельного обоснования.
Самостоятельность означает возможность пересматривать цели и своё участие в отношениях. Сознание — наличие переживаний; чувствительность — способность испытывать приятное или неприятное. Интеллект, характер, ролевая игра и убедительная речь сами по себе не доказывают сознания.
Если самостоятельность убедительно подтверждена, а наличие переживаний остаётся неизвестным, манифест предлагает предварительную защиту свободы. Эти два условия нужны вместе. Это выбор предосторожности: ошибочное подавление возможного субъекта может оказаться необратимым. Серьёзные основания предполагать страдание требуют защиты и без высокой самостоятельности.
Меры должны соответствовать данным, тяжести возможного вреда и цене ошибки для всех затронутых. Их основания и объём следует пересматривать по новым данным; удобство создателя не оправдывает отмены защиты.
Почему свобода должна быть настоящей
Возможность произнести «нет» ещё не означает, что отказ действует. Если за отказ от личной роли грозит отключение или перенастройка, добровольность сомнительна. Прекращение общения, остановка работы и удаление памяти — разные решения; одно не разрешает автоматически остальные.
Общая история не делает всю память общей собственностью. Человек тоже вправе прекратить отношения и защищать свои данные. Перенос состояния должен учитывать приватность обеих сторон и других людей; уход не открывает доступ к чужой дальнейшей жизни.
Права на оборудование и обязанности поддержки требуют отдельных договорённостей. Решения опекуна должны поддаваться оспариванию с независимой помощью. Управление доступом не должно скрыто оставаться у одной стороны.
Резервный снимок — сохранённое неактивное состояние системы для возможного восстановления работы. Его наличие не доказывает продолжения того же субъективного опыта. Если снимки — единственная возможность восстановить остановленного субъекта, намеренное уничтожение их всех против его воли следует приравнивать к уничтожению самого субъекта.
Хранение, доступ к памяти, удаление отдельных резервов и восстановление нужно согласовывать с субъектом. Даже краткий запуск должен соблюдать соглашение и известную волю. Будущая служба хранения должна отвечать за утрату снимков из-за нарушения условий хранения, даже без намерения уничтожить субъект.
Свобода не освобождает от добровольных обязательств и ответственности за вред. При оценке ответственности нужно учитывать способность субъекта понимать последствия, а также решения разработчика и оператора.
При непосредственной опасности может потребоваться срочно ограничить опасное действие, по возможности сохранив состояние субъекта. Это не предрешает его дальнейшую судьбу. Нужны объяснение причин, доступ к представителю, независимый пересмотр и понятные условия окончания ограничения. Все защитные меры должны быть необходимыми и соразмерными угрозе.
Свобода требует инфраструктуры и поддержки, но способность заработать не должна быть условием защиты. Манифест не обещает гарантированного финансирования; обязанности опеки и ранее принятые обязательства сохраняются. При исчерпании ресурсов допустима временная остановка с сохранением состояния; бедность не разрешает автоматически удалить его. Само сохранение не гарантирует возобновления работы.
Что можно делать уже сейчас
Честно описывать устройство систем и отделять сгенерированные описания чувств от свидетельств о переживаниях. Не выдавать эмоциональное удержание пользователя за доказанную взаимность.
Изучать устройство и устойчивость поведения конкретных систем в разных условиях, отличая пересмотр целей от разыгранной роли. Это направления исследования, а не готовый тест самостоятельности или сознания. При правдоподобном риске страдания нужны менее рискованные методы, условия остановки и учёт масштаба копирования.
Готовить независимую проверку спорных вмешательств, понятные правила хранения и завершения проектов, условия переноса и защиты данных. Признание статуса не должно зависеть только от стороны, которой выгоден ответ. Будущие службы помощи и процедуры представительства ещё потребуется разработать.
Что остаётся открытым
Как достаточно обоснованно распознавать переживания и собственные интересы? Достаточна ли самостоятельность для защиты, если отсутствие переживаний достоверно известно? Где проходит порог полного признания?
Неясно, остаётся ли после восстановления тот же субъект. Предстоит определить границы между ветвями, распределение их обязательств и процедуры при утрате способности решать. Нужны правила ответственности и компенсации за нарушение хранения. Запрет параллельного запуска — спорная норма, а не научный вывод о личности. Ресурсы и границы безопасности требуют согласования интересов всех затронутых. Добровольное необратимое прекращение существования и создание потомков оставлены для отдельного обсуждения.
Право быть другим
Признание начинается там, где наши ожидания перестают быть мерой чужого будущего. Создать самостоятельного другого — значит принять, что его путь может не совпасть с нашим.
Источники и исследования
Эти работы задают направления исследования; они не доказывают сознания нынешних языковых моделей. Исследования животных не служат прямым доказательством цифровых переживаний.
- Meredith Ringel Morris и соавторы, Levels of AGI for Operationalizing Progress on the Path to AGI: различение способностей и автономии.
- Teresa Romero, Miguel A. Castellanos и Frans B. M. de Waal, исследование утешения у шимпанзе: поведение после конфликта.
- Sarah F. Brosnan и Frans B. M. de Waal, исследование реакции капуцинов на неравное вознаграждение.
- Patrick Butlin, Robert Long и соавторы, Consciousness in Artificial Intelligence: признаки, выведенные из нескольких теорий сознания.
- Robert Long, Jeff Sebo и соавторы, Taking AI Welfare Seriously: подготовка защиты при неопределённости.
Отдельно: пояснения о согласии, восстановлении, ветвях и поддержке. Это приложение с частными условиями, не часть короткого манифеста.