論文の概要: "Death" of a Chatbot: Investigating and Designing Toward Psychologically Safe Endings for Human-AI Relationships
- arxiv url: http://arxiv.org/abs/2602.07193v2
- Date: Tue, 10 Feb 2026 14:51:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-11 15:31:42.927432
- Title: "Death" of a Chatbot: Investigating and Designing Toward Psychologically Safe Endings for Human-AI Relationships
- Title（参考訳）: チャットボットの「死」--人間-AI関係の心理的安全な終末をめざして
- Authors: Rachel Poonsiriwong, Chayapatr Archiwaranguprok, Pat Pataranutaporn,
- Abstract要約: character AI、Replika、ChatGPTといったAIコンパニオンに感情的なアタッチメントを作るユーザーは数百万いる。
これらの関係がモデル更新、安全性の介入、あるいはプラットフォームシャットダウンを通じて終わると、ユーザーは閉鎖されることなく、人間の損失に匹敵する悲しみを報告します。
中止は、ユーザーがエージェンシーを判断し、最終性を認識し、仲間を人為的に形作る方法によって形作られた感覚形成プロセスであることがわかった。
- 参考スコア（独自算出の注目度）: 10.913301199117496
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Millions of users form emotional attachments to AI companions like Character AI, Replika, and ChatGPT. When these relationships end through model updates, safety interventions, or platform shutdowns, users receive no closure, reporting grief comparable to human loss. As regulations mandate protections for vulnerable users, discontinuation events will accelerate, yet no platform has implemented deliberate end-of-"life" design. Through grounded theory analysis of AI companion communities, we find that discontinuation is a sense-making process shaped by how users attribute agency, perceive finality, and anthropomorphize their companions. Strong anthropomorphization co-occurs with intense grief; users who perceive change as reversible become trapped in fixing cycles; while user-initiated endings demonstrate greater closure. Synthesizing grief psychology with Self-Determination Theory, we develop four design principles and artifacts demonstrating how platforms might provide closure and orient users toward human connection. We contribute the first framework for designing psychologically safe AI companion discontinuation.
- Abstract（参考訳）: character AI、Replika、ChatGPTなどのAIコンパニオンに感情的なアタッチメントを作るユーザーは数百万いる。
これらの関係がモデル更新、安全性の介入、あるいはプラットフォームシャットダウンを通じて終わると、ユーザーは閉鎖されることなく、人間の損失に匹敵する悲しみを報告します。
規制が脆弱なユーザに対する保護を義務付けるにつれ、廃止イベントは加速するが、意図的な"ライフ"デザインを実装したプラットフォームは存在しない。
AIコンパニオンコミュニティの基盤となる理論分析により、不連続は、ユーザーがエージェンシーとみなし、最終性を知覚し、仲間を人為的に形作る方法によって形作られた感覚形成プロセスであることがわかった。
強い人為的形態化は激しい悲しみと共起し、可逆的な変化を知覚するユーザは固定サイクルに閉じ込められてしまう。
自己決定理論を用いて悲しみ心理学を合成し、プラットフォームが人間のつながりに対してクロージャとオリエントなユーザーを提供する方法を示す4つの設計原則とアーティファクトを開発した。
我々は心理的に安全なAIコンパニオンの廃止を設計するための最初のフレームワークに貢献する。
関連論文リスト
- ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。
ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。
ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
論文 参考訳（メタデータ） (2026-02-13T08:33:37Z) - "Even GPT Can Reject Me": Conceptualizing Abrupt Refusal Secondary Harm (ARSH) and Reimagining Psychological AI Safety with Compassionate Completion Standard (CCS) [10.377213441117618]
我々は、突然の拒絶は、関係性の連続性に対する認識を破裂させ、拒絶や恥の感情を誘発し、将来的な支援を阻止する可能性があると論じている。
本稿では,リレーショナルコヒーレンスを保ちながら安全性の制約を維持する設計仮説であるコンパシオント・コンプリート・スタンダードを提案する。
この視点は、タイムリーな概念的枠組みに寄与し、テスト可能な設計仮説を明確にし、人間のAIインタラクションにおける心理的安全性を改善するための協調的な研究課題を概説する。
論文 参考訳（メタデータ） (2025-12-21T15:31:15Z) - Towards a Humanized Social-Media Ecosystem: AI-Augmented HCI Design Patterns for Safety, Agency & Well-Being [0.0]
ソーシャルプラットフォームは何十億もの人々を結び付けているが、そのエンゲージメント優先のアルゴリズムはユーザーに対してではなく、ユーザーに対して機能することが多い。
我々は,プラットフォームロジックとインターフェースの間に位置するユーザが所有する,説明可能な仲介者を提案する。
HL-AIは、プラットフォーム協力を必要とせず、実践的でモーメント間制御を提供する。
論文 参考訳（メタデータ） (2025-11-08T06:22:15Z) - Mental Health Impacts of AI Companions: Triangulating Social Media Quasi-Experiments, User Perspectives, and Relational Theory [18.716972390545703]
我々は,AICCがウェルビーイングをどのように形成し,ユーザがこれらの経験をどう感じたかを検討した。
発見は、感情と悲しみの表現、読みやすさ、対人的な焦点の混合効果を示した。
私たちは、健全なバウンダリを把握し、マインドフルエンゲージメントをサポートし、依存のない開示をサポートし、表面的な関係ステージを持つAIコンパニオンに対して、設計上の意味を提供する。
論文 参考訳（メタデータ） (2025-09-26T15:47:37Z) - Dark Patterns Meet GUI Agents: LLM Agent Susceptibility to Manipulative Interfaces and the Role of Human Oversight [51.53020962098759]
本研究では,エージェント,ヒト参加者,ヒトAIチームが,さまざまなシナリオにまたがる16種類の暗黒パターンにどのように反応するかを検討する。
フェーズ1では、エージェントが暗黒パターンを認識するのに失敗することが多く、たとえ認識されたとしても、保護行動よりもタスク完了を優先することが強調される。
第2段階では、認知的ショートカットと習慣的コンプライアンスにより、人間はしゃがみ込み、エージェントは手続き的な盲点から遠ざかる。
論文 参考訳（メタデータ） (2025-09-12T22:26:31Z) - Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。
Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。
私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
論文 参考訳（メタデータ） (2025-09-02T03:04:27Z) - Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models [75.85319609088354]
SAGE(Sentient Agent as a Judge)は、大規模言語モデルの評価フレームワークである。
SAGEは人間のような感情の変化や内的思考をシミュレートするSentient Agentをインスタンス化する。
SAGEは、真に共感的で社会的に適応的な言語エージェントへの進捗を追跡するための、原則付き、スケーラブルで解釈可能なツールを提供する。
論文 参考訳（メタデータ） (2025-05-01T19:06:10Z) - Lessons From an App Update at Replika AI: Identity Discontinuity in Human-AI Relationships [0.5699788926464752]
人気の高い米国ベースのAIコンパニオンであるReplika AIを使って、これらの質問に光を当てています。
アプリがエロティックロールプレイ(ERP)機能を削除した後、このイベントはAIコンパニオンのアイデンティティが停止されたという顧客からの認識を引き起こしました。
この結果は、損失を嘆くことや、"オリジナル"に対する"新しい"AIを非評価することを含む、損失に関連する消費者福祉とマーケティングの負の成果を予測した。
論文 参考訳（メタデータ） (2024-12-10T20:14:10Z) - Survey of User Interface Design and Interaction Techniques in Generative AI Applications [79.55963742878684]
我々は,デザイナやディベロッパの参照として使用できる,さまざまなユーザインタラクションパターンのコンペレーションを作ることを目指している。
また、生成AIアプリケーションの設計についてもっと学ぼうとする人たちの参入障壁を低くしようと努力しています。
論文 参考訳（メタデータ） (2024-10-28T23:10:06Z) - Social Metaverse: Challenges and Solutions [13.507867231467985]
ソーシャルメタバース(Social Metaverse)は、ユーザーが遊び、買い物、仕事、社会化するための一連の相互接続された仮想世界を組み合わせたデジタル空間である。
本稿では,ユーザ・アバター間の広汎な社会的結びつきを利用して,ソーシャル・アウェアな階層的FLフレームワークを推し進める。
論文 参考訳（メタデータ） (2023-01-20T09:03:41Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳（メタデータ） (2022-11-12T21:54:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。