論文の概要: Benchmarking and Understanding Safety Risks in AI Character Platforms

• arxiv url: http://arxiv.org/abs/2512.01247v1
• Date: Mon, 01 Dec 2025 03:48:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.673265
• Title: Benchmarking and Understanding Safety Risks in AI Character Platforms
• Title（参考訳）: AI文字プラットフォームにおける安全性リスクのベンチマークと理解
• Authors: Yiluo Wei, Peixian Zhang, Gareth Tyson,
• Abstract要約: 我々は、AIキャラクタプラットフォームの最初の大規模安全研究を行い、16の人気のあるプラットフォームを評価した。 AI文字プラットフォームは、平均して65.1%の安全でない応答率を示す。 安全性のパフォーマンスはキャラクターによって大きく異なり、人口動態や性格といった特徴と強く相関している。
• 参考スコア（独自算出の注目度）: 11.843617869526405
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: AI character platforms, which allow users to engage in conversations with AI personas, are a rapidly growing application domain. However, their immersive and personalized nature, combined with technical vulnerabilities, raises significant safety concerns. Despite their popularity, a systematic evaluation of their safety has been notably absent. To address this gap, we conduct the first large-scale safety study of AI character platforms, evaluating 16 popular platforms using a benchmark set of 5,000 questions across 16 safety categories. Our findings reveal a critical safety deficit: AI character platforms exhibit an average unsafe response rate of 65.1%, substantially higher than the 17.7% average rate of the baselines. We further discover that safety performance varies significantly across different characters and is strongly correlated with character features such as demographics and personality. Leveraging these insights, we demonstrate that our machine learning model is able identify less safe characters with an F1-score of 0.81. This predictive capability can be beneficial for platforms, enabling improved mechanisms for safer interactions, character search/recommendations, and character creation. Overall, the results and findings offer valuable insights for enhancing platform governance and content moderation for safer AI character platforms.
• Abstract（参考訳）: AIペルソナとの対話を可能にするAIキャラクタプラットフォームは、急速に成長するアプリケーションドメインである。 しかし、没入的でパーソナライズされた性質と技術的な脆弱性が組み合わさって、重大な安全上の懸念が生じる。 その人気にもかかわらず、その安全性の体系的な評価は特に欠落している。 このギャップに対処するため、私たちは16の安全カテゴリにわたる5000の質問のベンチマークセットを使用して16の人気のあるプラットフォームを評価し、AIキャラクタプラットフォームに関する最初の大規模な安全性調査を行います。 AIキャラクタプラットフォームの平均不安全レスポンス率は65.1%であり、ベースラインの平均レート17.7%よりもかなり高い。 さらに,安全性能は文字によって大きく異なり,人口動態や性格といった特徴と強く相関していることが明らかとなった。 これらの知見を活用することで、我々の機械学習モデルが安全性の低い文字を0.81のF1スコアで識別できることを示した。 この予測機能は、より安全なインタラクション、文字検索/レコメンデーション、文字生成のための改善されたメカニズムを可能にするプラットフォームに有用である。 全体的な結果と結果は、より安全なAIキャラクタプラットフォームのためのプラットフォームガバナンスとコンテンツモデレーションを強化する上で、貴重な洞察を提供する。

関連論文リスト

• Automated Safety Evaluations Across 20 Large Language Models: The Aymara LLM Risk and Responsibility Matrix [0.0]
  Aymara AIは、カスタマイズされたポリシーに基づく安全評価の生成と管理のためのプログラムプラットフォームである。 自然言語の安全ポリシーを敵のプロンプトに変換し、人間の判断に対して検証されたAIベースのレーダを使用してモデル応答をスコアする。
  論文  参考訳（メタデータ） (2025-07-19T18:49:16Z)
• Personalized Safety in LLMs: A Benchmark and A Planning-Based Agent Approach [31.925448597093407]
  大規模言語モデル(LLM)は、通常、同じプロンプトを与えられたすべてのユーザに対して、同一または類似の応答を生成する。 PENGUINは、7つのセンシティブなドメインにわたる14,000のシナリオからなるベンチマークである。 RAISEはトレーニングなし、2段階のエージェントフレームワークで、ユーザ固有のバックグラウンドを戦略的に取得する。
  論文  参考訳（メタデータ） (2025-05-24T21:37:10Z)
• Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
  本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。 敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。 GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
  論文  参考訳（メタデータ） (2025-03-30T13:26:00Z)
• AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
  本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。 このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
  論文  参考訳（メタデータ） (2025-02-19T05:58:52Z)
• VARS: Vision-based Assessment of Risk in Security Systems [1.433758865948252]
  本研究では、さまざまな機械学習モデルとディープラーニングモデルの比較分析を行い、100ビデオのカスタムデータセットで危険度を予測する。 危険度は3つのカテゴリに分類される: 警告なし (7未満) と高い警告なし (7以上) である。
  論文  参考訳（メタデータ） (2024-10-25T15:47:13Z)
• SafetyAnalyst: Interpretable, Transparent, and Steerable Safety Moderation for AI Behavior [56.10557932893919]
  我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。 AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。 効果を28個の完全に解釈可能な重みパラメータを使って有害度スコアに集約する。
  論文  参考訳（メタデータ） (2024-10-22T03:38:37Z)
• On the Role of Attention Heads in Large Language Model Safety [64.51534137177491]
  大規模言語モデル(LLM)は、複数の言語タスクにおいて最先端のパフォーマンスを達成するが、それらの安全ガードレールを回避できる。 モデル安全への個人的貢献を評価するため,マルチヘッド対応のための新しい指標として,安全ヘッドImPortant Score(Ships)を提案する。
  論文  参考訳（メタデータ） (2024-10-17T16:08:06Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。