論文の概要: The Oversight Gap: What LLM Safety Monitors Miss, and Why It Is Not Capability

• arxiv url: http://arxiv.org/abs/2609.07162v1
• Date: Mon, 07 Sep 2026 07:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.383388
• Title: The Oversight Gap: What LLM Safety Monitors Miss, and Why It Is Not Capability
• Title（参考訳）: LLMの安全装置の故障と機能不足の理由
• Abstract要約: 2つのセーフティ・ハイパープロパティは2つの実行によってのみ目撃される。 タイトバウンドは、単一トレースモニタのバランスの取れた精度を$tfrac12+tfrac12,TV(P_1)$とする。 プロジェクションフロンティアは、9,8.6%のオフチャンネルリーク、75.7%のクリーントラフィックの広さの旗、良性偏差率とチャネルカウントの1/(qm)$のような精度の低下など、結果として生じるジレンマを強制している。
• 参考スコア（独自算出の注目度）: 10.012788934490084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several properties safety monitors are asked to certify, among them cross-tenant noninterference, sandbagging and evaluation awareness, are 2-safety hyperproperties, witnessed only by two executions. The standard consequence is a binary impossibility: one trace cannot decide them. We replace the binary with a measurement. A tight bound puts the balanced accuracy of any single-trace monitor at $\tfrac12+\tfrac12\,TV(P_0,P_1)$, turning undecidability into a graded detectability frontier and defining an oversight gap: a monitor's shortfall below it. On a leak family with closed-form $TV$, nine LLM monitors are optimal at $TV=0$ but capture little signal as $TV$ grows; at $TV=1$, where a 20-line membership check scores $100\%$, they average $60.9\%$. That shortfall is mostly not capability: naming what to check closes $61\%$ of it while leaving the $TV=0$ control at chance. The same split runs through a $2{\times}2$ factorial: an imagined second run leaves monitors at chance ($50.4\%$) while the same rule on an executed second run reaches $90.0\%$, and a stored oracle without a comparison procedure yields only $68.2\%$. Information and procedure are each necessary and neither is capability. Under nondeterminism, replay tracks a closed-form $k$-replay curve only under the right projection, and a projection frontier shows the resulting dilemma is forced: narrow misses $98.6\%$ of off-channel leaks, broad flags $75.7\%$ of clean traffic, and attainable accuracy decays like $1/(qm)$ in the benign-variation rate and the channel count. Finally, two frontier LLM judges certified an earlier version of our own benchmark as sound while a sign test found a directional bias ($p=2.7\times10^{-5}$) that invalidated three of our findings. Construction validity for hyperproperty benchmarks should be proved mechanically, not audited by models.
• Abstract（参考訳）: いくつかのプロパティ安全モニターは、クロステナント非干渉、サンドバッグ、評価意識などの認定を要求され、2つの実行でのみ確認される2つの安全性の高いハイパープロパティである。 1つのトレースがそれらを決定できない。 私たちはバイナリを測定で置き換えます。 厳密なバウンダリは、任意のシングルトレースモニターのバランスのとれた精度を$\tfrac12+\tfrac12\,TV(P_0,P_1)$に設定し、決定不能をグレードされた検出フロンティアに変換して、監視のギャップを定義する。 クローズドフォームの$TV$を持つリークファミリーでは、9台のLCMモニターは$TV=0$で最適だが、$TV$が成長するにつれて小さなシグナルを捉え、$TV=1$で20ラインの会員チェックスコアが100\%$で平均60.9\%$である。 チェックすべき項目の命名は611\%$で、テレビ=0$コントロールは偶然に残される。 同じスプリットは$2{\times}2$ factorialを通す: 想像された第2ランが50.4\%$でモニターし、実行された第2ランの同じルールは$90.0\%$に達し、比較手順のない格納されたオラクルは$68.2\%でしか得られない。 情報と手続きはいずれも必要であり、どちらも能力ではない。 非決定論の下では、リプレイは正しい射影の下でのみ閉じた$k$-replay曲線を追跡し、プロジェクションフロンティアは、結果として生じるジレンマが強制されることを示す。 最後に、2人のフロンティアのLLM判事は、我々のベンチマークの初期のバージョンを音として認定し、サインテストでは、我々の3つの発見を無効にする方向バイアス(p=2.7\times10^{-5}$)を発見した。 ハイパープロパティベンチマークの構成妥当性は、モデルによって監査されるのではなく、機械的に証明されるべきである。

関連論文リスト

• The geometry of AI validation: Exact certification limits for iid best-of-N search [0.0]
  信頼性面上での検証とデプロイメントのルールをカーネルとして表現する。 B_m,N=1+2sum_r=1m(-1)rcos2Nr/[(m+1)]$
  論文  参考訳（メタデータ） (2026-08-21T15:18:11Z)
• Consistent Model Chasing Is Minimax Optimal: The Exact Value of Scalar Adversarial Adaptive Control under Large Parametric Uncertainty [0.15229257192293197]
  我々は、敵の障害に対する適応制御の根本的な問題を解決する。 我々は、因果制御器が対向対に対して保証できる最小のケースピークを見つける。 最適方針は、セットメンバーシップ一貫した間隔の中間点における一定の等価なデッドビート制御である。
  論文  参考訳（メタデータ） (2026-08-13T18:00:03Z)
• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks [10.839956062772792]
  3つのエージェントセーフティベンチマークは同じ18モデルのランクが異なる。 AgentHarmの安全性に対するR-Judgeの特異性は、$-0.64$ at $n=7$と$+0.02$ at $n=18$と相関しており、ランダムサイズ7サブセットの4分の1は、そのほぼゼロの値の周りで$|| geq 0.5$に達する。 AgentHarmは、最強のホールトアウト・アソシエーションである$=+0.72$で、制御能力の後に3段階のジェイルブレイクの安全性を示す。
  論文  参考訳（メタデータ） (2026-07-30T03:45:10Z)
• Partially Correlated Verifier Cascades in LLM Harnesses: Concave Log-Odds, Polynomial Reliability, and Blind-Spot Ceilings [0.5076419064097734]
  シリアル検証ゲートはLLMハーネスのコア信頼性プリミティブである。 候補の答えが返されるのは、$k$検証者が全てそれを受け入れた場合に限られる。 このノートはそのような理論を最小限にしている。
  論文  参考訳（メタデータ） (2026-07-15T14:58:37Z)
• The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
  本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。 CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
  論文  参考訳（メタデータ） (2026-06-02T08:22:14Z)
• Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
  プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。 21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
  論文  参考訳（メタデータ） (2026-06-01T19:39:25Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Learning Near Optimal Policies with Low Inherent Bellman Error [115.16037976819331]
  エピソード強化学習における近似線形作用値関数を用いた探索問題について検討する。 我々は,検討した設定に対して最適な統計率を達成するアルゴリズムを用いて,Emphbatch仮定のみを用いて探索を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-29T02:02:40Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。