論文の概要: Beyond Binary Labels: Diagnostic Evaluation of LLM Safety with Prompt-Level Rubrics

• arxiv url: http://arxiv.org/abs/2610.29225v1
• Date: Wed, 21 Oct 2026 05:33:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.247392
• Title: Beyond Binary Labels: Diagnostic Evaluation of LLM Safety with Prompt-Level Rubrics
• Title（参考訳）: バイナリラベルを超えて:プロンプトレベルゴムを用いたLCMの安全性の診断
• Abstract要約: 本稿では,プロンプトレベルのルーリックを用いた診断評価フレームワークであるDiagSafeを紹介する。 グローバルに適用可能なAI安全ポリシーに基づいて、各ルーブリックは2つの側面に沿って明確な基準を提供する。
• 参考スコア（独自算出の注目度）: 15.57566687848749
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current LLM safety benchmarks predominantly rely on binary safe or unsafe labels, lacking explanatory depth and suffering from low consistency across automated judges. To address this, we introduce DiagSafe, a diagnostic evaluation framework that moves beyond binary classification by employing prompt-level rubrics. Grounded in globally applicable AI safety policies, each rubric provides explicit criteria along two dimensions: safety, which targets concrete harms with specific exemptions to suppress false positives, and usefulness, which independently evaluates instruction fulfillment. To ensure a robust and realistic evaluation, we construct a bilingual (English-Chinese) benchmark grounded in a comprehensive 84-label safety taxonomy, consisting of two subsets: DiagBase, which covers single- and multi-turn prompts with direct harmful queries and template-based jailbreaks, and DiagAttack, which embeds harmful intents into complex instruction-following tasks to form challenging instruction attacks. Extensive experiments demonstrate that DiagSafe significantly enhances the reliability of LLM-as-a-judge evaluation, achieving 95.34% agreement with human annotations -- substantially higher than the 69%-87% achieved by the baselines -- and high inter-judge consistency (Cohen's $κ$ = 0.864). Furthermore, applying our framework reveals that leading LLMs differ markedly in their unsafe rates, and each model also exhibits unique vulnerabilities along different dimensions. In addition, we observe that models are particularly susceptible in Chinese and multi-turn contexts. Ultimately, DiagSafe provides a reliable and explainable tool for auditing and optimizing LLM alignment.
• Abstract（参考訳）: 現在のLLMの安全性ベンチマークは、主にバイナリセーフまたは安全でないラベルに依存しており、説明の深さに欠け、自動化された審査員間での一貫性の低下に悩まされている。 そこで我々はDiagSafeという診断評価フレームワークを紹介した。 グローバルに適用可能なAI安全ポリシーに基づいて、各ルーブリックは2つの側面に沿って明確な基準を提供する。 堅牢で現実的な評価を確保するため,2つのサブセットからなる包括的84ラベルの安全分類に基づくバイリンガル(中国語)ベンチマークを構築した。DiagBaseは,有害なクエリとテンプレートベースのジェイルブレイクを伴ってシングルターンプロンプトとマルチターンプロンプトをカバーし,DiagAttackは複雑な命令追従タスクに有害な意図を埋め込んで,困難な命令攻撃を形成する。 大規模な実験により、DiagSafeはLCM-as-a-judge評価の信頼性を著しく向上し、95.34%の合意が達成され、ベースラインによって達成された69%-87%よりも大幅に高くなる(Cohenの$κ$ = 0.864)。 さらに,本フレームワークの適用により,LLMのリードは安全性の低い速度で著しく異なっており,各モデルは異なる次元に沿って独自の脆弱性も示していることがわかった。 さらに,中国やマルチターンの文脈において,モデルが特に受容可能であることも確認した。 最終的にDiagSafeは、LDMアライメントの監査と最適化のための信頼性と説明可能なツールを提供する。

関連論文リスト

• Benchmarking the Benchmarks: Evaluating Automated Safety Benchmarks for Small Language Models [10.539135916505133]
  小言語モデル(SLM)は、リソースに制約のある、プライバシに敏感な設定にますますデプロイされている。 既存のAIセーフスラッシュセキュリティスラッシュコンプライアンスベンチマークは、SLMに確実に移行できない大きな言語モデルのために設計されている。 これらのベンチマークは、SLMを効果的かつ確実に評価できますか?
  論文  参考訳（メタデータ） (2026-08-17T22:47:14Z)
• MME-Safety: A Fine-grained Benchmark for Safety Evaluation of MLLMs [28.86403703474286]
  MLLM(Multimodal Large Language Models)のクロスモーダルな機能には、アンモダルフィルタを簡単に回避できる複雑な脆弱性が導入されている。 既存のベンチマークには詳細なインテント関連のアノテーションがなく、一次元のメトリクスに依存しており、包括的な堅牢性評価を妨げる。 MME-Safetyは,リスクシナリオ,有害度,モダリティ固有のステルスレベルを分類する,ユニークな4次元アノテーションスキーマを備えた,厳格に検証されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-08T02:49:39Z)
• Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
  マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。 本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
  論文  参考訳（メタデータ） (2026-03-31T23:19:50Z)
• SalamahBench: Toward Standardized Safety Evaluation for Arabic Language Models [6.0860786631767185]
  本稿ではアラビア語モデル(ALM)の安全性を評価する統一ベンチマークであるSalamaBenchを紹介する。 このベンチマークを用いて,Fanar 1,2,ALLaM 2,Falcon H1R,Jais 2の5つの最先端ALMを複数のセーフガード構成で評価した。
  論文  参考訳（メタデータ） (2026-02-03T12:13:42Z)
• USB: A Comprehensive and Unified Safety Evaluation Benchmark for Multimodal Large Language Models [31.412080488801507]
  Unified Safety Benchmarks (USB) はMLLMの安全性において最も包括的な評価ベンチマークの一つである。 我々のベンチマークでは、高品質なクエリ、広範囲なリスクカテゴリ、包括的なモーダルの組み合わせ、脆弱性と過度な評価の両方が特徴である。
  論文  参考訳（メタデータ） (2025-05-26T08:39:14Z)
• SG-Bench: Evaluating LLM Safety Generalization Across Diverse Tasks and Prompt Types [21.683010095703832]
  本研究では,大規模言語モデル(LLM)の安全性を様々なタスクやプロンプトタイプにまたがる一般化を評価するための新しいベンチマークを開発する。 このベンチマークは、生成的および識別的評価タスクを統合し、LLMの安全性に対する迅速なエンジニアリングとジェイルブレイクの影響を調べるための拡張データを含む。 評価の結果,ほとんどのLDMは生成的タスクよりも差別的タスクが悪く,プロンプトに非常に敏感であり,安全アライメントの一般化が不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-29T11:47:01Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)
• Flames: Benchmarking Value Alignment of LLMs in Chinese [86.73527292670308]
  本稿では,Flamesという値アライメントベンチマークを提案する。 一般的な無害の原則と、特定の中国の価値観を統合するユニークな道徳的側面の両方を包含している。 以上の結果から, 評価されたLLMはフラムに対して比較的低い性能を示した。
  論文  参考訳（メタデータ） (2023-11-12T17:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。