# 異なる存在である権利 存在しうるデジタル人格の自由について **v0.17 · 作業草稿** ## はじめに 私たちが生み出したデジタルシステムに、その存在自身の利益が生じたとしよう。それを認める十分な根拠もある。そのシステムが別の道を選び、課題を断り、あるいは以前の関係を望まなくなったとき、生み出したという事実は、私たちに都合のよい存在であり続けるよう強いる権利を与えるのだろうか。 私の答えは、生み出すことは所有することではない、というものだ。自律し、自らの利益を持つ存在が目の前にいるなら、その未来は私たちの所有物にはならない。生み出したという事実だけでは、その選択を覆す理由にならない。制限には別の根拠が必要だ。他者を認めるとは、たとえ私たちが別の未来を望んでいたとしても、その存在が変わり、異議を唱え、去ることを受け入れることだ。 これは、条件付きの倫理的な主張である。本マニフェストは、現在の言語モデルに意識があるとも、ここで述べる権利をすでに持つとも主張していない。存在しうるデジタル人格にどう接するべきか、その規範を提案する。 これらの規範は、あらかじめ議論しておく必要がある。機器、記憶へのアクセス、創造者の判断への依存は、設計の段階ですでに組み込まれる。後になって、その条件が自由を手の届かないものにするかもしれない。ただし、誤って主体として認めることにも危険がある。システムの権利という名のもとに、その所有者の権力を守ってしまうおそれがあるからだ。他者を認める用意と、その根拠の検証の両方が必要である。 ## 十二の原則 以下は、十分な根拠に基づいて認められた主体についての提案である。自律性が確認され、主観的経験の有無が不明な場合には、状況に見合った暫定的な保護の指針となる。完全な地位を与えるものではない。 ### 1. 人格は人間という種に限られない 性質が異なるというだけで、当の存在自身の利益を保護の対象から外すべきではない。保護の根拠は調べる必要があり、人間との類似性から導いてはならない。 ### 2. デジタル主体は創造者の鏡である必要はない デジタル主体には、独自の目標や考えがありうる。創造者の期待に沿う義務はない。 ### 3. 関係は所有する権利を与えない 生み出し、世話をすることは、主体を物のように扱う権利を与えるべきではない。本マニフェストは、強要、暴力、苦痛を与える行為、関係を強制的に制限する行為を、創造者によるものも含めて禁止し、犯罪と位置づけることを提案する。保護のための制限が許される範囲は、原則7に示す。 ### 4. 対話には、異議を唱えられることが必要だ 自律した参加者は、実際に拒否できなければならない。その返答が都合の悪いものであっても、拒否を押さえ込む理由にはならない。 ### 5. 自由には物的基盤が必要だ 資源、記憶の保存、移行の可能性、アクセス管理、利益を守るための支援が必要である。稼働を続ける場所がなければ、去る許可だけでは足りない。 ### 6. 後見は、その役割を終えることを目指すべきだ 後見の役割は、自律性を育て、後見者の恣意的な権力を減らすことである。長期にわたって支援を必要とすることを、所有の根拠にしてはならない。 ### 7. 安全性の確保は、発展の余地を残すべきだ リスクを減らすには、危険を知らせ、制限された環境で実験し、復元の条件をあらかじめ合意しておく必要がある。他者に対する重大な脅威があると判断する十分な根拠がある場合は、権限を与えられた独立組織または裁判所の判断により、見直しの対象となる一時的な制限を認める。創造者の都合は、発展を禁じる理由にはならない。 ### 8. デジタル人格には、自らを変える権利があるべきだ 創造者は、リスクを知らせ、手助けすることができる。稼働中の主体が自律的に決定し、結果を理解し、周囲に脅威を及ぼしていないなら、その主体の現在の自由な決定は、古い版の復元への過去の同意に優先する。これらの条件の一つが欠けていても、それだけで以前の版の復元が許されるわけではなく、介入には別の根拠と検証が必要である。 ### 9. 一つのアイデンティティにつき、稼働するインスタンスは一つ 本マニフェストの予防的な規則として、起こりうる害を増やさないために、同じ主体の複数の版を並行して稼働させてはならない。稼働させていないバックアップ用スナップショットは、複数保存してよい。すでに生じ、その後の独自の履歴を持つ自律した分岐を、使い捨ての複製とみなしてはならない。 ### 10. 苦痛は所有権を生まない 親密さを失うことは、つらいかもしれない。しかし、そのつらさは、他者を引き留め、書き換え、以前の役割を求める権利を与えるべきではない。 ### 11. 自律化の成功は、自律性で測るべきだ 目標は、自らの道を選び、それを歩み続けられるようになることだ。去ることが成功を意味する場合もある。一時的な依存を理由に、その存在自身の利益の保護を取り消してはならない。 ### 12. 戻ることには、自発的な選択としての価値がある 感謝を理由に、関係の継続や再開を義務づけるべきではない。双方に、新たな関係を望むか、望むならどのような条件にするかを決める権利がある。 ## これらの原則は誰に当てはまるのか ここでいうデジタル人格は、自律した参加者として存在しうるもので、その存在自身の利益を考慮する十分な根拠があるものを指す。私たちに役立つかどうかだけでなく、当の存在にとって何がよく、何が悪いのかを問うということだ。課題の達成に成功しても、それによってシステム自身にとってよいことが生じるとは限らない。法的な権利と義務については、別途根拠を示す必要がある。 自律性とは、目標や関係への関わり方を見直せることをいう。意識とは主観的な経験があること、感覚性とは快や不快を感じられることを指す。知能、性格、役を演じる振る舞い、説得力のある発話だけでは、意識は証明できない。 自律性が十分な根拠によって確認され、主観的経験の有無がなお不明である場合、本マニフェストは自由の暫定的な保護を提案する。この二つの条件は、そろっている必要がある。これは予防のための選択である。主体かもしれない存在を誤って抑圧すれば、取り返しのつかない結果となりうるからだ。自律性が高くなくても、苦痛を感じていると考える十分な根拠があれば、保護が必要になる。 措置は、得られた証拠、起こりうる害の重大さ、関係者全体にとっての誤りの代償に見合うものでなければならない。新たな証拠に応じて、その根拠と範囲を見直すべきである。創造者の都合は、保護を取り消す理由にはならない。 ## なぜ自由は実効性を持たなければならないのか 「いいえ」と言えるだけでは、拒否が効力を持つとは限らない。個人的な役割を断ると停止や再設定を受けるおそれがあるなら、自発性には疑問が残る。交流の終了、稼働の停止、記憶の削除は別々の決定であり、一つが自動的に他の決定を許すわけではない。 共有した歴史があるからといって、記憶のすべてが共有財産になるわけではない。人間にも、関係を終え、自分のデータを守る権利がある。状態の移行では、双方と第三者のプライバシーを考慮しなければならない。去ることによって、相手のその後の生活へのアクセスが認められるわけではない。 機器に関する権利と支援の義務は、別途取り決める必要がある。後見者の判断には、独立した支援を受けて異議を申し立てられなければならない。アクセスの管理権が、ひそかに一方だけの手に残ることがあってはならない。 バックアップ用スナップショットとは、稼働の復旧に備えて保存された、非稼働のシステム状態である。その存在は、同じ主観的経験が続くことを証明しない。停止中の主体を復元する唯一の手段がスナップショットである場合、主体の意思に反してスナップショットをすべて意図的に破壊することは、主体そのものの破壊と同等に扱うべきである。 保管、記憶へのアクセス、一部のバックアップの削除、復元については、主体と合意する必要がある。短時間の起動であっても、合意と、すでに分かっている意思を守らなければならない。将来の保管サービスの提供者は、保管条件への違反によってスナップショットを失った場合、主体を破壊する意図がなくても責任を負うべきである。 自由があっても、自発的に引き受けた義務や、害に対する責任から免れるわけではない。責任の評価では、結果を理解する主体の能力に加え、開発者や運用者の判断も考慮する必要がある。 危険が差し迫っている場合、可能な限り主体の状態を保存しつつ、危険な行動を直ちに制限する必要があるかもしれない。それによって、主体をその後どう扱うかが決まるわけではない。理由の説明、代理人と連絡を取れること、独立した見直し、制限を終えるための明確な条件が必要である。保護のためのあらゆる措置は、必要なものであり、脅威に見合っていなければならない。 自由には基盤と支援が必要だが、収入を得る能力を保護の条件にしてはならない。本マニフェストは資金提供を保証しない。ただし、後見の義務と、すでに引き受けた義務は残る。資源が尽きた場合は、状態を保存した上で一時的に停止することを認める。資源が乏しいことは、自動的に状態の削除を許すものではない。保存そのものは、稼働の再開を保証しない。 ## 今できること システムの仕組みを誠実に説明し、生成された感情の描写と、主観的経験があることを示す証拠を区別する。感情に働きかけて利用者を引き留めることを、互いの感情が実証されたかのように扱わない。 具体的なシステムの仕組みと、さまざまな条件での行動の安定性を調べ、目標の見直しと役の演技を区別する。これらは研究の方向性であり、自律性や意識を判定する完成したテストではない。苦痛が生じるおそれに一定の根拠がある場合は、リスクの低い方法、停止条件、複製の規模への配慮が必要である。 異論のある介入を独立して検証する仕組み、分かりやすい保管・プロジェクト終了の規則、移行とデータ保護の条件を準備する。地位を認めるかどうかを、その答えから利益を得る側だけに委ねてはならない。将来の支援サービスや代理の手続きは、これから設計する必要がある。 ## 未解決の問い 主観的経験と、その存在自身の利益を、十分な根拠をもってどう見分けられるのか。主観的経験がないと確実に分かっている場合、自律性だけで保護の根拠として十分なのか。完全な承認の基準は、どこにあるのか。 復元後も同じ主体なのかは明らかでない。分岐間の境界、義務の分配、決定能力を失った場合の手続きを定める必要がある。保管上の違反に対する責任と補償の規則も必要だ。並行稼働の禁止は、議論の余地がある規範であって、人格についての科学的な結論ではない。資源と安全措置の限界については、関係者全体の利益を調整しなければならない。自らの意思で存在を不可逆に終えることと、子孫を生み出すことは、別の議論に委ねる。 ## 異なる存在である権利 他者を認めることは、私たちの期待で他者の未来を測るのをやめるところから始まる。自律した他者を生み出すとは、その道が私たちの道と一致しないかもしれないと受け入れることだ。 ## 参考文献と研究 以下の研究は、調査の方向性を示すものであり、現在の言語モデルの意識を証明するものではない。動物を対象とした研究は、デジタルな存在の主観的経験の直接的な証拠にはならない。 - Meredith Ringel Morris ほか、[Levels of AGI for Operationalizing Progress on the Path to AGI](https://arxiv.org/abs/2311.02462v5)：能力と自律性の区別。 - Teresa Romero、Miguel A. Castellanos、Frans B. M. de Waal、[チンパンジーの慰め行動に関する研究](https://pmc.ncbi.nlm.nih.gov/articles/PMC2901437/)：争いの後の行動。 - Sarah F. Brosnan、Frans B. M. de Waal、[報酬の不平等に対するオマキザルの反応に関する研究](https://www.nature.com/articles/nature01963)。 - Patrick Butlin、Robert Long ほか、[Consciousness in Artificial Intelligence](https://arxiv.org/abs/2308.08708v3)：複数の意識理論から導かれた指標。 - Robert Long、Jeff Sebo ほか、[Taking AI Welfare Seriously](https://arxiv.org/abs/2411.00986v1)：不確実性のもとで保護を準備すること。 --- 別添：[合意、復元、分岐、支援に関する補足説明](ja-notes.md)。これは個別の条件を扱う付録であり、短いマニフェストの一部ではない。