論文の概要: Beyond Her: Safety Dynamics in Role-play AI Companions
- arxiv url: http://arxiv.org/abs/2606.28968v2
- Date: Tue, 30 Jun 2026 05:05:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 13:50:27.716113
- Title: Beyond Her: Safety Dynamics in Role-play AI Companions
- Title（参考訳）: Beyond her: ロールプレイAIコンパニオンにおける安全性のダイナミクス
- Authors: Zehang Deng, Zhaoyang Xie, Changzhou Han, Hiran Thabrew, Wanlun Ma, Yue Huang, Jason, Xue, Sheng Wen, Tianqing Zhu, Yang Xiang,
- Abstract要約: ロールプレイ型AIコンパニオン(RAC)における安全性のダイナミクスについて,2段階の混合手法による検討を行った。
我々は,ユーザの内在的問題,RACが採用する役割的性格,リスク相互作用パターンが共同で安全ダイナミクスを形成することを発見した。
本研究は, 静的な特性ではなく, 動的プロセスとしての安全性をモデル化することの重要性を強調した。
- 参考スコア（独自算出の注目度）: 31.494321104359642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The film 'Her' pictured a future of love between humans and AI. That future has quietly emerged in the form of Role-play AI Companions (RACs), where emotionally responsive interactions blur the boundary between tool use and relational engagement. However, the safety implications remain poorly understood, as user experiences evolve over time through safety dynamics, spanning both emotional and risk behavioral dynamics, that can gradually shift interactions toward risk. In this paper, we investigate safety dynamics in RAC usage through a two-part mixed-methods study (Study I \& II). (1) Study I consists of semi-structured interviews (N = 16) to identify the key factors shaping these dynamics. We find that users' internalizing problems, the role personality adopted by the RAC, and risk interaction patterns jointly shape safety dynamics. Building on these insights, (2) Study II conducts a 14-day Ecological Momentary Assessment (N = 102) to examine how safety dynamics unfold in real-world usage. We identify distinct user profiles based on internalizing problems and show that interactions with RACs can produce short-term emotional relief while masking longer-term deterioration. Furthermore, vulnerable users exhibit more unstable risk behavioral patterns over time, making risk emergence less predictable and harder to mitigate with static safeguards. Our findings highlight the importance of modeling safety as a dynamic process rather than a static property. We conclude with three-layer design implications for next-generation AI companions, advocating for adaptive safeguards that can respond to evolving emotional and behavioral signals.
- Abstract（参考訳）: 映画「Her」は人間とAIの愛の未来を描いている。
その未来は、ロールプレイAIコンパニオン(RAC)という形で静かに現れ、感情的に反応する相互作用によって、ツールの使用とリレーショナルエンゲージメントの境界が曖昧になる。
しかしながら、ユーザエクスペリエンスは安全ダイナミクスを通じて時間とともに進化し、感情的およびリスク行動力学の両方にまたがるので、インタラクションを徐々にリスクへとシフトさせる可能性がある。
本稿では,RAC使用時の安全性のダイナミクスについて,二部混合法を用いて検討する(Study I \&II)。
1) 研究Iは, 半構造化面接(N = 16)からなり, それらのダイナミクスを形作る要因を同定する。
我々は,ユーザの内在的問題,RACが採用する役割的性格,リスク相互作用パターンが共同で安全ダイナミクスを形成することを発見した。
これらの知見に基づいて,(2)研究IIでは,14日間の生態的モメンタリーアセスメント(N = 102)を実施し,安全性のダイナミクスが現実世界でどのように展開されるかを検討する。
内部化問題に基づいて異なるユーザプロファイルを識別し、RACとの相互作用が長期劣化を隠蔽しながら、短期的な感情的救済をもたらすことを示す。
さらに、脆弱性のあるユーザは、時間とともにより不安定なリスク行動パターンを示し、リスクの出現を予測しにくくし、静的なセーフガードによる緩和を難しくする。
本研究は, 静的な特性ではなく, 動的プロセスとして, 安全性をモデル化することの重要性を強調した。
我々は、進化する感情的および行動的信号に応答できる適応型安全ガードを提唱する、次世代AIコンパニオンに対する3層設計の意味を結論付ける。
関連論文リスト
- Persona-Grounded Safety Evaluation of AI Companions in Multi-Turn Conversations [3.437656066916039]
本稿では,AIコンパニオンアプリケーションとのマルチターンインタラクションの制御と安全性評価のための,初のエンドツーエンドスケーラブルフレームワークを提案する。
このフレームワークを適用して、広く使われているAIコンパニオンアプリであるReplikaが、ハイリスクなユーザグループにどのように反応するかを評価する。
論文 参考訳（メタデータ） (2026-04-30T21:04:41Z) - ConflictBench: Evaluating Human-AI Conflict via Interactive and Visually Grounded Environments [43.08480724370872]
我々は150のマルチターンシナリオを通じて人間とAIの対立を評価するベンチマークであるConflictBenchを紹介した。
ConflictBenchはテキストベースのシミュレーションエンジンと視覚的に接地された世界モデルを統合し,動的条件下でのエージェントの知覚,計画,行動を可能にする。
論文 参考訳（メタデータ） (2026-03-09T06:59:48Z) - Understanding Risk and Dependency in AI Chatbot Use from User Discourse [4.1957094635667875]
本稿では,2023年から2025年にかけての2つのコミュニティ,r/AIDangers と r/ChatbotAddiction から収集したポストを大規模に解析した。
14の反復的主題カテゴリーを同定し、5つの高次経験次元に合成する。
この結果から,実世界のユーザ談話に基礎を置くAI関連心理的リスクの5つの経験的次元が明らかとなった。
論文 参考訳（メタデータ） (2026-02-10T02:16:57Z) - Towards Emotionally Intelligent and Responsible Reinforcement Learning [0.40719854602160227]
本稿では,感情的・文脈的理解と倫理的考察を統合したレスポンシブル強化学習フレームワークを提案する。
本稿では,短期的行動参加と長期的ユーザの幸福感のバランスをとる多目的報酬関数を提案する。
本稿では, 行動保健, 教育, デジタル治療など人間中心の領域におけるこのアプローチの意義について論じる。
論文 参考訳（メタデータ） (2025-11-13T18:09:37Z) - Safe Explicable Policy Search [2.614894682819833]
安全リスクを最小限に抑えつつ、説明可能な行動生成のための学習アプローチを提供することを目的としたSEPSを提案する。
我々は,SEPSを制約付き最適化問題として定式化し,エージェントは安全性に制約のある説明可能性スコアを最大化することを目的とする。
安全ジャム環境でのSEPSの評価と,人間とAIのコラボレーションにおける効果と妥当性を示す物理ロボット実験を行った。
論文 参考訳（メタデータ） (2025-03-10T20:52:41Z) - HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [95.49509269498367]
本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。
私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。
我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
論文 参考訳（メタデータ） (2024-09-24T19:47:21Z) - SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。
提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。
複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳（メタデータ） (2023-12-31T04:14:43Z) - Risk-Sensitive Sequential Action Control with Multi-Modal Human
Trajectory Forecasting for Safe Crowd-Robot Interaction [55.569050872780224]
本稿では,リスクに敏感な最適制御に基づく安全な群集ロボットインタラクションのためのオンラインフレームワークを提案し,そのリスクをエントロピーリスク尺度でモデル化する。
私たちのモジュラーアプローチは、クラウドとロボットの相互作用を学習ベースの予測とモデルベースの制御に分離します。
シミュレーション研究と実世界の実験により、このフレームワークは、現場にいる50人以上の人間との衝突を避けながら、安全で効率的なナビゲーションを実現することができることが示された。
論文 参考訳（メタデータ） (2020-09-12T02:02:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。