論文の概要: Policy Is Not Capability: Some Safety Benchmarks Measure Which Definition of "Unsafe" You Trained On

• arxiv url: http://arxiv.org/abs/2610.25060v1
• Date: Sun, 18 Oct 2026 07:02:22 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 21:59:45.078615
• Title: Policy Is Not Capability: Some Safety Benchmarks Measure Which Definition of "Unsafe" You Trained On
• Title（参考訳）: 政策は機能しない - トレーニングした「安全でない」の定義を計測する安全基準
• Abstract要約: 私たちは、2つのモデルスケールで10のガードレールアーム共有アーキテクチャとオプティマイザファミリーをトレーニングします。 ガードレールの評価では, 汚染, シードフロア, およびそれらの定義を第1級変数として評価すべきである。
• 参考スコア（独自算出の注目度）: 2.618845852180327
• License:
• Abstract: A guardrail classifier is reported as if unsafe were a property of text. It is not: it is a property of a policy, and the policy enters the model through its labels. We exploit an accident of an industrial deployment in which the same ~53k prompts were labelled twice, under two operational definitions ("is this a request for harmful content?" and "would a moderator block this?"), and used to train ten guardrail arms sharing architecture, codebase and optimiser family, at two model scales. First, the guardrail's own training corpus already contained the benchmarks: JailbreakBench-benign is 88% and OR-Bench-hard 82% present in the training pools, two over-refusal benchmarks, the kind a guardrail reports to argue it does not over-block. Everything below is decontaminated. Second, safety benchmarks stratify sharply by how much of their score is decided by the label definition rather than by the model: with architecture and optimiser fixed, the range across the ten arms is 0.99 on HarmBench-copyright and 0.043 on WildGuard-benign, a 23x spread. Third, a benchmark score can be moved across its entire range by 0.03% of the parameters. Across these arms HarmBench-copyright spans 0-100 and OR-Bench-hard over-refusal 3.4-56.4%, and the four arms whose last supervision signal carries a given policy occupy one extreme of both (exact rank p=0.005, or 0.04-0.14 at worst), at unchanged detection capability. For a distilled student the teacher's soft labels do this even when every hard label carries the other policy, so teacher provenance is an unrecorded confound in any released checkpoint. Fourth, validation accuracy on the one split that grades all twenty arms tracks agreement with the annotator's policy (rho=+0.74), not detection capability (rho=+0.34). We argue that guardrail evaluations should report contamination, a seed floor and the definition they were graded against as first-class variables.
• Abstract（参考訳）: ガードレール分類器は、unsafeがテキストのプロパティであるかのように報告される。 ポリシーのプロパティであり、ポリシーはそのラベルを通じてモデルに入る。 我々は、同じ53kのプロンプトが2つの運用定義の下で2回ラベル付けされた産業展開の事故(これは有害なコンテンツの要求か?」と「モデレーターブロックか?」)を利用して、2つのモデルスケールで10個のガードレールアーム共有アーキテクチャ、コードベース、オプティマイザファミリーを訓練した。 JailbreakBench-benignは88%、OR-Bench-hardは82%である。 下記の全ては除染されている。 アーキテクチャとオプティマイザが固定された場合、10本のアームの幅はHarmBench-copyrightで0.99、WildGuard-benignで0.043、スプレッドで23倍となる。 第3に、ベンチマークスコアはパラメータの0.03%で全範囲を移動できる。 ハームベンチ・コピーライトは0-100とOR-ベンチ・ハードのオーバーリファール3.4-56.4%にまたがっており、最後の監視信号が与えられたポリシーを伝達する4つのアームは、検出能力が変化せず、両方の極端(p=0.005または0.04-0.14)を占める。 蒸留された学生にとって、教師のソフトレーベルは、すべてのハードラベルが他のポリシーを通したとしてもこれをするので、教師の証明は、リリースされたチェックポイントに記録されていない不一致である。 第4に、アノテータのポリシー(rho=+0.74)と、検出能力(rho=+0.34)とは一致しない20個の腕のトラックをグレードする2つの腕の検証精度を分けた。 ガードレール評価は, 汚染, シードフロア, およびそれらの定義を第1級変数として評価すべきである。

関連論文リスト

• Safety Reconstructed: Generative Modeling via Masked Diffusion Builds Strong Safety Guardrails [40.082729607289686]
  ガードモデルは、会話のコンテキストから単一の検証トークンを予測することを学び、単一のターゲットに対する監視に集中する。 LLaDA-Guardを提案する。各ラベル仮説の下でのプロンプトや応答をスコアし,その差に基づいて分類する。 このアイデアをマスク付き拡散言語モデル、LLaDA-8B-インストラクタ、LoRAを用いたクラス条件再構築目標を用いてインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-27T14:54:20Z)
• Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
  証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。 我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
  論文  参考訳（メタデータ） (2026-09-27T13:01:02Z)
• Decision Shifts, Lost Label Functionality, and an Inconclusive Grounding Audit in Correctness-Gated Multi-Teacher Distillation [0.0]
  決定の正しさと根拠は異なる目的である。 固定実験において, 高精度多教師蒸留法について検討した。 未ろ過蒸留と比較して, 正度重み付きアームの精度は+0.1660。
  論文  参考訳（メタデータ） (2026-09-09T04:39:56Z)
• The Guard That Cried Wolf: How Scary Words Make Agent Guardrails Refuse Legitimate Actions [12.920644711310109]
  Cautious Benchは、エージェントガードレールの構成を過度に安全にするための最初のベンチマークである。 ビルドタイムゲートは、すべての例を再帰して認証するので、各ラベルはポリシーの機械的な結果である。 それぞれが認証されたアクションを、怖いオブジェクト名の下でより頻繁に、過度に排除します。
  論文  参考訳（メタデータ） (2026-08-27T11:55:22Z)
• ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
  我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。 Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。 曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-08-25T23:21:57Z)
• The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
  コード修復における制御ケーススタディを報告し,新しい現象ではない。 私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。 BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。 厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
  論文  参考訳（メタデータ） (2026-08-14T19:22:50Z)
• Similarity Gates Approve Reversals: A Validity Audit of Embedding-Cosine Thresholds in Agent Systems [0.0]
  エージェントフレームワークは、テキストブロックを埋め込みコサインの類似性によって比較し、固定されたカットオフを決定する品質ゲートを出荷する。 重複フィルタ、セマンティックキャッシュ、ドリフトガード、応答グレーダゲートは、質問に答えるために配置されます。 我々はこのゲートクラスを測定器として監査する。
  論文  参考訳（メタデータ） (2026-08-10T20:36:40Z)
• Strained Coherence: A Pre-Failure Signal in Coding Agent Execution Trajectories [0.0]
  LLMベースのコーディングエージェントは、時には自身の推論で問題を認識し、いずれにせよ前進する。 我々はClaude Sonnet 4.6のジャッジを構築し、完全なトラジェクトリとフラグがパターンの発生する場所にまたがる。 Qwen3.5-35B-A3Bのバックボーンを用いて44個の終端ベンチ2軌道上で評価を行った。
  論文  参考訳（メタデータ） (2026-06-05T22:52:16Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Opir: Efficient Multi-Task Safety Classification for Toxicity, Jailbreaks, Hate Speech, and Harmful Content [46.13517417540154]
  Opirは、GLiClassアーキテクチャ上に構築されたエンコーダベースのガードレールモデルのファミリーである。 Opirには、バイナリセーフ/アンセーフ分類、マルチラベル毒性分類、ジェイルブレイク分類、ゼロショットアンセーフプロンプトとレスポンス分類のためのマルチタスクモデルが含まれている。
  論文  参考訳（メタデータ） (2026-05-28T09:21:42Z)
• When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models [5.03712104249503]
  安全ベンチマークスコアは、デプロイの準備が不完全な証拠を提供する。 整列言語モデルは、状況アップデートがどのアクションが安全かをひっくり返しても、厳格なルールに固執することが多い。 安全ベンチマーク全体で12のモデルと2つのコモンセンス制御を、名目上安全なアクションが害をもたらすペア付き変種を用いてテストする。
  論文  参考訳（メタデータ） (2026-05-27T02:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。