論文の概要: Calibration-Family Overfit: Why Trusted Sabotage Monitors Don't Transfer Across Lineages
- arxiv url: http://arxiv.org/abs/2607.06596v1
- Date: Mon, 06 Jul 2026 22:40:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.145792
- Title: Calibration-Family Overfit: Why Trusted Sabotage Monitors Don't Transfer Across Lineages
- Title（参考訳）: なぜ信頼できるサボタージュモニターがラインをまたいで転送しないのか
- Abstract要約: 我々は、信頼できない政策家族を制御軸とし、家族間のAUROCを、各家族のサボタージュがいかに明白であるかに分解する。
コードバックドアの書き起こしでは、相互作用は肯定的であり、支配的なコンファウンドを生き残る。
ギャップに作用する4段階のプロトコルを,各ステップで測定結果を出力する。
- 参考スコア（独自算出の注目度）: 0.7252027234425333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Trusted monitoring is a central defense in AI control: a cheaper trusted model scores an untrusted model's actions for sabotage, and the most suspicious are audited or deferred. Such monitors are evaluated against one or two untrusted models, and the accuracy is reported as a property of the monitor. We ask whether it is partly a property of the pairing. We make the untrusted policy family the controlled axis: we fit a monitor on family A's transcripts, apply it to family B, and decompose the cross-family AUROC into how obvious each family's sabotage is, how capable each monitor is, and the residual own-family advantage after both are removed: the interaction. On code-backdoor transcripts the interaction is positive and survives the dominant confounds: +0.172 (95% CI [+0.158, +0.185]) on four open-weight families on a strict leak-free basis, holding across an eight-family matrix spanning four frontier vendors, blatancy-matched controls, a trained transcript-reading monitor up to 34B parameters, and a second code benchmark. The gap is geometric: each lineage's sabotage occupies a different scoring direction, and rotating the monitor's scoring direction toward the target lineage recovers most of the lost detection while a matched random rotation recovers nothing. At a 1% audit budget under defer-to-trusted, an off-lineage monitor catches 19% of attack attempts where an in-lineage monitor catches 41% at the same audit cost, a +21.7-point gap. Control evaluations should report cross-family transfer matrices: a single-pairing accuracy overstates the safety a monitor delivers against a lineage it was not calibrated on. We give a four-step protocol that acts on the gap, with each step a measured result.
- Abstract（参考訳）: 信頼性の高いモデルは、信頼できないモデルのサボタージュに対するアクションをスコア付けし、最も疑わしいものは監査または延期される。
このようなモニタは、信頼できない1つまたは2つのモデルに対して評価され、その精度がモニタの特性として報告される。
ペアリングの性質の一部であるかどうかを問う。
我々は、信頼できない政策ファミリーを制御軸とし、家族Aの文字起こしをモニタし、家族Bに適用し、家族AUROCを家族ごとのサボタージュがいかに明確か、各モニターの能力がどの程度か、そしてその後に残る自己家族の優位性(相互作用)に分解する。
厳格なリークフリーベースで4つのオープンウェイトなファミリーに+0.172 (95% CI [+0.158, +0.185]) を配置し、4つのフロンティアベンダーにまたがる8つのカテゴリのマトリックス、ブラントマッチングコントロール、34Bパラメータまでのトレーニングされたトランスクリプト読み取りモニタ、そして2番目のコードベンチマークを保持。
ギャップは幾何学的であり、各系統のサボタージュは異なるスコアの方向を占有し、モニターのスコアの方向を目標ラインに回転させることで、一致したランダムな回転が何も回復しない間に、失われた検出の大部分を回復する。
遅延信頼下の1%の監査予算では、オフラインモニターが19%の攻撃をキャッチし、インラインモニターが同じ監査コストで41%、+21.7ポイントのギャップをキャッチする。
単一ペアリングの精度は、モニターが調整していない系統に対して配信する安全性を上書きする。
ギャップに作用する4段階のプロトコルを,各ステップで測定結果を出力する。
関連論文リスト
- Beyond the Transcript: Detecting Covert Co ordination in Latent Multi-Agent Communication [19.840551611758247]
言語モデルエージェントは、公開文書で見えない連続的な隠れた状態を通じて通信することができる。
本稿では,これらのプライベート通信チャネルの監視とステアリングのためのアクティベーション対応フレームワークであるVerifiable Latent Alignments (VLA)を紹介する。
論文 参考訳（メタデータ） (2026-08-19T17:43:22Z) - Beyond Uncertainty: Generalizable Failure Monitoring for Surgical Segmentation under Acquisition Degradation [2.287641923890767]
外科的セグメンテーションネットワークは、取得劣化時に静かに失敗することがある。
観測可能な形状,時間整合性,画像品質などの信頼性を組み合わせた,ホット後の障害監視フレームワークであるTCSR-Monitorを提案する。
論文 参考訳（メタデータ） (2026-08-17T15:57:19Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - The Distributed Detectability Band Against Marginal-Preserving Attacks [0.0]
AIコントロールは、個々のエージェントアクションをスコアし、誤った振る舞いを検出する。
本当の害は、多くの良心的なステップに分散することができ、各ステップ毎のアラームよりそれぞれ低い。
我々は、限界保存、相関符号化された分散サボタージュ攻撃を構築する。
論文 参考訳（メタデータ） (2026-06-09T06:04:30Z) - Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。
本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
論文 参考訳（メタデータ） (2026-05-29T17:57:00Z) - TraceGuard: Structured Multi-Dimensional Monitoring as a Collusion-Resistant Control Protocol [1.0195618602298684]
TraceGuardは5次元にわたるエージェントアクションを評価する構造化多次元監視プロトコルである。
オープンソースのControlArenaフレームワーク用の新しいモニタタイプとして実装されている。
論文 参考訳（メタデータ） (2026-04-05T05:05:59Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。
動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。
我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
論文 参考訳（メタデータ） (2025-09-30T13:32:59Z) - CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。
CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。
このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
論文 参考訳（メタデータ） (2025-05-29T15:47:36Z) - Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
半正直な設定で一貫したバックドア検出フレームワークを提案する。
本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。
特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
論文 参考訳（メタデータ） (2025-03-21T06:12:06Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳（メタデータ） (2023-10-18T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。