論文の概要: Safety-Flag: A Unified Benchmark for the Reliability and Calibration of LLM Content Moderators

• arxiv url: http://arxiv.org/abs/2609.19072v1
• Date: Thu, 06 Aug 2026 06:35:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.612065
• Title: Safety-Flag: A Unified Benchmark for the Reliability and Calibration of LLM Content Moderators
• Title（参考訳）: Safety-Flag: LLMコンテンツモデレータの信頼性と校正のための統一ベンチマーク
• Abstract要約: これは、広く使用されている7つの安全ベンチマークを、単一のバランスの取れたフラグ/do-not-flagプロトコルに配置するものです。 我々は6つの汎用LDMと4つの専用ガードの項目レベル決定と信頼性スコアを、同じ項目で評価した3つの参照モデルとともにリリースする。 6つの汎用モデルはいずれも過信であり、1つのモデルに1つの温度を合わせると、予測されたラベルや信頼性の順序を変更することなくキャリブレーション誤差を2.8$-6.0times$に減らす。
• 参考スコア（独自算出の注目度）: 1.60468902992145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used for content moderation, but most evaluations still report aggregate accuracy on individual benchmarks. We introduce Safety-Flag, which places seven widely used safety benchmarks (BeaverTails, XSTest, Ethics, WildGuard, Aegis, ToxiChat, and ToxiGen) into a single balanced flag / do-not-flag protocol. We release item-level decisions and confidence scores for six general-purpose LLMs and four dedicated guards, together with three reference models, evaluated on the same items. Safety-Flag measures three dimensions of moderator reliability: error direction, probability calibration, and confidence-based error ranking for human review. They often disagree. Aggregate accuracy does not reveal error direction: one model flags $85\%$ of benign content, whereas another misses $54\%$ of harmful content. All six general-purpose models are overconfident; fitting one temperature per model reduces calibration error by $2.8$--$6.0\times$ without changing predicted labels or confidence ordering. Confidence-based abstention lowers selective risk for every model, although the gains depend on how well confidence ranks errors. Dedicated guards produce fewer false alarms and are better calibrated, but several have higher miss rates outside their documented coverage. We release the benchmark, fixed item lists, evaluation code, per-item model outputs, and leaderboard at: https://github.com/yibo-hu-lab/safety-flag-benchmark.
• Abstract（参考訳）: 大規模言語モデルは、コンテンツモデレーションにますます使われているが、ほとんどの評価では、個々のベンチマークで集計精度が報告されている。 これは、広く使用されている7つの安全ベンチマーク(BeaverTails、XSTest、Ethics、WildGuard、Aegis、ToxiChat、ToxiGen)を単一のバランスの取れたフラグ/do-not-flagプロトコルに配置する。 我々は6つの汎用LDMと4つの専用ガードの項目レベル決定と信頼性スコアを、同じ項目で評価した3つの参照モデルとともにリリースする。 Safety-Flagは、ヒューマンレビューのためのエラー方向、確率校正、信頼に基づくエラーランキングという、モデレーターの信頼性の3つの次元を計測する。 しばしば反対する。 Aggregateの精度はエラーの方向を明らかにしない: 1つのモデルでは良質なコンテンツの85セント%、もう1つは有害なコンテンツの54セント%を見逃している。 6つの汎用モデルはいずれも過信であり、1つのモデルに1つの温度を合わせるとキャリブレーション誤差が2.8$--$6.0\times$に減少する。 信頼に基づく棄権は、すべてのモデルに対する選択的なリスクを低くするが、その利得は、どの程度の信頼度がエラーをランク付けするかにかかっている。 ディシデントガードは誤報が少なく、校正も優れているが、記録された範囲外ではミス率が高いものもいくつかある。 ベンチマーク、固定アイテムリスト、評価コード、イベントごとのモデル出力、およびリーダーボードを以下にリリースします。

関連論文リスト

• ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
  我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。 Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。 曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-08-25T23:21:57Z)
• Item Response Theory for AI Safety [23.16156306184828]
  アイテム反応理論 (IRT) は、心理測定値が推定された項目のパフォーマンスから潜伏者を測定する統計ツールキットである。 IRTは安全ベンチマークを読み、減らし、監査するための既製のツールキットです。
  論文  参考訳（メタデータ） (2026-08-05T17:25:27Z)
• Single Canonical Prompts Underestimate LLM Safety's Surface-Form Sensitivity [2.3216115061903415]
  私たちは安全のためにこれをインスタンス化し、金のラベルのないハイテイクな設定で、平均的な方向に向かっています。 370種の種 x 5 の表面が x 5 モデルを形成する場合、単一の変換が一様で最も危険である。 フォーム間の安全でない結果の結合は、3.3-12.9 pp の最悪の単一形式でさえも超える。
  論文  参考訳（メタデータ） (2026-08-01T22:28:31Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models [5.03712104249503]
  安全ベンチマークスコアは、デプロイの準備が不完全な証拠を提供する。 整列言語モデルは、状況アップデートがどのアクションが安全かをひっくり返しても、厳格なルールに固執することが多い。 安全ベンチマーク全体で12のモデルと2つのコモンセンス制御を、名目上安全なアクションが害をもたらすペア付き変種を用いてテストする。
  論文  参考訳（メタデータ） (2026-05-27T02:09:30Z)
• MARGIN: Runtime Confidence Calibration for Multi-Agent Foundation Model Coordination [0.0]
  本稿では,MARGIN(Multi-Agent Grading via Incremental Normalisation)を提案する。 18の基盤モデル、8のベンチマーク、44,000以上の観測結果から、MARGINは分布シフト時の最良の設計時ベースラインよりも3-6倍低いキャリブレーション誤差を達成している。
  論文  参考訳（メタデータ） (2026-05-21T18:25:05Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。