論文の概要: "Death" of a Chatbot: Investigating and Designing Toward Psychologically Safe Endings for Human-AI Relationships
- arxiv url: http://arxiv.org/abs/2602.07193v2
- Date: Tue, 10 Feb 2026 14:51:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-11 15:31:42.927432
- Title: "Death" of a Chatbot: Investigating and Designing Toward Psychologically Safe Endings for Human-AI Relationships
- Title(参考訳): チャットボットの「死」--人間-AI関係の心理的安全な終末をめざして
- Authors: Rachel Poonsiriwong, Chayapatr Archiwaranguprok, Pat Pataranutaporn,
- Abstract要約: character AI、Replika、ChatGPTといったAIコンパニオンに感情的なアタッチメントを作るユーザーは数百万いる。
これらの関係がモデル更新、安全性の介入、あるいはプラットフォームシャットダウンを通じて終わると、ユーザーは閉鎖されることなく、人間の損失に匹敵する悲しみを報告します。
中止は、ユーザーがエージェンシーを判断し、最終性を認識し、仲間を人為的に形作る方法によって形作られた感覚形成プロセスであることがわかった。
- 参考スコア(独自算出の注目度): 10.913301199117496
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Millions of users form emotional attachments to AI companions like Character AI, Replika, and ChatGPT. When these relationships end through model updates, safety interventions, or platform shutdowns, users receive no closure, reporting grief comparable to human loss. As regulations mandate protections for vulnerable users, discontinuation events will accelerate, yet no platform has implemented deliberate end-of-"life" design. Through grounded theory analysis of AI companion communities, we find that discontinuation is a sense-making process shaped by how users attribute agency, perceive finality, and anthropomorphize their companions. Strong anthropomorphization co-occurs with intense grief; users who perceive change as reversible become trapped in fixing cycles; while user-initiated endings demonstrate greater closure. Synthesizing grief psychology with Self-Determination Theory, we develop four design principles and artifacts demonstrating how platforms might provide closure and orient users toward human connection. We contribute the first framework for designing psychologically safe AI companion discontinuation.
- Abstract(参考訳): character AI、Replika、ChatGPTなどのAIコンパニオンに感情的なアタッチメントを作るユーザーは数百万いる。
これらの関係がモデル更新、安全性の介入、あるいはプラットフォームシャットダウンを通じて終わると、ユーザーは閉鎖されることなく、人間の損失に匹敵する悲しみを報告します。
規制が脆弱なユーザに対する保護を義務付けるにつれ、廃止イベントは加速するが、意図的な"ライフ"デザインを実装したプラットフォームは存在しない。
AIコンパニオンコミュニティの基盤となる理論分析により、不連続は、ユーザーがエージェンシーとみなし、最終性を知覚し、仲間を人為的に形作る方法によって形作られた感覚形成プロセスであることがわかった。
強い人為的形態化は激しい悲しみと共起し、可逆的な変化を知覚するユーザは固定サイクルに閉じ込められてしまう。
自己決定理論を用いて悲しみ心理学を合成し、プラットフォームが人間のつながりに対してクロージャとオリエントなユーザーを提供する方法を示す4つの設計原則とアーティファクトを開発した。
我々は心理的に安全なAIコンパニオンの廃止を設計するための最初のフレームワークに貢献する。
関連論文リスト
- "Even GPT Can Reject Me": Conceptualizing Abrupt Refusal Secondary Harm (ARSH) and Reimagining Psychological AI Safety with Compassionate Completion Standard (CCS) [10.377213441117618]
我々は、突然の拒絶は、関係性の連続性に対する認識を破裂させ、拒絶や恥の感情を誘発し、将来的な支援を阻止する可能性があると論じている。
本稿では,リレーショナルコヒーレンスを保ちながら安全性の制約を維持する設計仮説であるコンパシオント・コンプリート・スタンダードを提案する。
この視点は、タイムリーな概念的枠組みに寄与し、テスト可能な設計仮説を明確にし、人間のAIインタラクションにおける心理的安全性を改善するための協調的な研究課題を概説する。
論文 参考訳(メタデータ) (2025-12-21T15:31:15Z) - Towards a Humanized Social-Media Ecosystem: AI-Augmented HCI Design Patterns for Safety, Agency & Well-Being [0.0]
ソーシャルプラットフォームは何十億もの人々を結び付けているが、そのエンゲージメント優先のアルゴリズムはユーザーに対してではなく、ユーザーに対して機能することが多い。
我々は,プラットフォームロジックとインターフェースの間に位置するユーザが所有する,説明可能な仲介者を提案する。
HL-AIは、プラットフォーム協力を必要とせず、実践的でモーメント間制御を提供する。
論文 参考訳(メタデータ) (2025-11-08T06:22:15Z) - Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。
Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。
私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
論文 参考訳(メタデータ) (2025-09-02T03:04:27Z) - Lessons From an App Update at Replika AI: Identity Discontinuity in Human-AI Relationships [0.5699788926464752]
人気の高い米国ベースのAIコンパニオンであるReplika AIを使って、これらの質問に光を当てています。
アプリがエロティックロールプレイ(ERP)機能を削除した後、このイベントはAIコンパニオンのアイデンティティが停止されたという顧客からの認識を引き起こしました。
この結果は、損失を嘆くことや、"オリジナル"に対する"新しい"AIを非評価することを含む、損失に関連する消費者福祉とマーケティングの負の成果を予測した。
論文 参考訳(メタデータ) (2024-12-10T20:14:10Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳(メタデータ) (2022-11-12T21:54:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。