論文の概要: CompanionSafe: From Multi-turn Safety Evaluation to Guardrails for AI Companions

• arxiv url: http://arxiv.org/abs/2610.18095v1
• Date: Tue, 13 Oct 2026 10:13:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.588641
• Title: CompanionSafe: From Multi-turn Safety Evaluation to Guardrails for AI Companions
• Title（参考訳）: CompanionSafe: マルチターン安全性評価からAIコンパニオンのガードレールまで
• Abstract要約: 我々は,AIコンパニオン安全のための統合型評価緩和フレームワークであるCompanionSafeを紹介する。 評価コンポーネントであるCompanionEvalは,1300のリレーショナルグラウンド設定を構築することで,スケーラブルなマルチターン評価を提供する。 緩和コンポーネントであるCompanionGuardは、ベンチマークが提示した障害を、コンパニオン固有のリスク検出のためのターンローカライズされた監視に変換する。
• 参考スコア（独自算出の注目度）: 23.69187152753787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI companions provide users with emotional support and ongoing companionship, but their sustained relational interactions also introduce distinct safety risks. Prior work largely targets general harms or specific companion platforms and risk categories, while relying on manually collected conversations, limiting scalable and user-grounded evaluation and mitigation. To address this, we introduce CompanionSafe, a unified evaluation-to-mitigation framework for AI companion safety. Its evaluation component, CompanionEval, provides scalable multi-turn evaluation by constructing 1,300 relationally grounded settings from diverse personas, matched companion characters, and dialogue scenarios across four turn tiers. Its mitigation component, CompanionGuard, converts benchmark-exposed failures into turn-localized supervision for companion-specific risk detection. Our results show that even strong LLMs and existing guard models remain vulnerable to companion-specific relational harms, while both closed- and open-source models exhibit increasing safety risks as interactions become longer. Together, CompanionEval and CompanionGuard form a practical evaluation-to-mitigation loop for AI companion safety, turning relational safety failures exposed during multi-turn interaction into supervision for companion-specific guardrails.
• Abstract（参考訳）: AIコンパニオンは、ユーザに対して感情的なサポートと継続的なコンパニオンを提供するが、持続的なリレーショナルインタラクションには、異なる安全性リスクも伴う。 以前の作業は主に、一般的な障害や特定のコンパニオンプラットフォーム、リスクカテゴリを対象としつつ、手作業による会話の収集に依存し、スケーラブルでユーザによる評価と緩和を制限します。 この問題に対処するため,AI共同安全性のための統合評価緩和フレームワークであるCompanionSafeを紹介した。 評価コンポーネントであるCompanionEvalは、多様なペルソナ、一致した同伴文字、および4つのターン層にわたる対話シナリオから1,300のリレーショナルグラウンド設定を構築することにより、スケーラブルなマルチターン評価を提供する。 緩和コンポーネントであるCompanionGuardは、ベンチマークが提示した障害を、コンパニオン固有のリスク検出のためのターンローカライズされた監視に変換する。 以上の結果から,強力なLLMモデルや既存のガードモデルでさえ相補的リレーショナル・ハザードに対して脆弱でありながら,クローズドモデルとオープンソースモデルの両方が相互作用が長くなるにつれて安全性のリスクが増大していることが示唆された。 CompanionEvalとCompanionGuardは共に、AIコラボレーティブ安全のための実践的な評価と軽減のループを形成し、マルチターンインタラクション中のリレーショナルセーフティ障害を、コンパニオン固有のガードレールの監視に変換する。

関連論文リスト

• Persona-Grounded Safety Evaluation of AI Companions in Multi-Turn Conversations [3.437656066916039]
  本稿では,AIコンパニオンアプリケーションとのマルチターンインタラクションの制御と安全性評価のための,初のエンドツーエンドスケーラブルフレームワークを提案する。 このフレームワークを適用して、広く使われているAIコンパニオンアプリであるReplikaが、ハイリスクなユーザグループにどのように反応するかを評価する。
  論文  参考訳（メタデータ） (2026-04-30T21:04:41Z)
• Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning [2.9184958249079975]
  既存の防衛は、限られた保護を提供するか、安全と実用性の間のトレードオフを強制する。 安全リスクに応じて正規化を適応するトレーニングフレームワークを導入する。 前世代の活性化から有害な意図信号が予測可能であることを実証的に検証する。
  論文  参考訳（メタデータ） (2026-02-19T16:59:54Z)
• AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
  AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。 外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
  論文  参考訳（メタデータ） (2025-10-02T02:06:30Z)
• Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
  コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。 Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。 私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
  論文  参考訳（メタデータ） (2025-09-02T03:04:27Z)
• IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks [30.535665641990114]
  対話型安全性のために設計された最初のマルチモーダルベンチマークであるIS-Benchを紹介する。 高忠実度シミュレーターでインスタンス化された388のユニークな安全リスクを持つ161の挑戦的なシナリオが特徴である。 これは、特定のリスク発生ステップの前/後においてリスク軽減アクションが実行されるかどうかを検証する、プロセス指向の新たな評価を容易にする。
  論文  参考訳（メタデータ） (2025-06-19T15:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。