論文の概要: Improving scalable oversight with co-trained monitors

• arxiv url: http://arxiv.org/abs/2609.36049v1
• Date: Mon, 28 Sep 2026 18:10:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.928771
• Title: Improving scalable oversight with co-trained monitors
• Title（参考訳）: 協調学習モニタによるスケーラブルな監視の改善
• Abstract要約: Worker-Monitorセットアップは、AI監視のための有望なアプローチだが、固定されたモニターに対するトレーニングワーカーは、監視の回避にインセンティブを与えることができる。 作業者と一緒にモニターを協調訓練することで,この障害モードを回避できるかどうかを検証し,教師付きアプローチと自己監督型アプローチの両方について検討する。 この結果から,適応モニタは作業戦略の進化に追随し,固定モニタは回避に弱いことが示唆された。
• 参考スコア（独自算出の注目度）: 6.970298371962309
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Worker-monitor setups are a promising approach to AI oversight, but training workers against fixed monitors can incentivize monitor evasion. We study whether this failure mode can be avoided by co-training the monitor alongside the worker, and explore both supervised and self-supervised approaches. In the supervised setting, we prove a characterization: monitoring is possible with vanishing error and query rates exactly when the class of possible monitor functions has finite Littlestone dimension. This connects worker monitoring with an established literature on adversarial online learning. For self-supervision, we propose a co-training procedure based on test-time distillation: the monitor uses additional test-time compute to generate training labels, then trains its standard-compute policy on those labels. For majority-vote labels, we give a finite-sample sharpening guarantee under adaptive worker distributions with action coverage, that shows that the monitor's verdicts converge to its initial modal verdicts. We stress-test the former in code-security settings where the worker is trained adversarially to fool the monitor. Our results suggest that adaptive monitors are better at keeping pace with evolving worker strategies, while fixed monitors are more vulnerable to evasion.
• Abstract（参考訳）: Worker-Monitorセットアップは、AI監視のための有望なアプローチだが、固定されたモニターに対するトレーニングワーカーは、監視の回避にインセンティブを与えることができる。 作業者と一緒にモニターを協調訓練することで,この障害モードを回避できるかどうかを検証し,教師付きアプローチと自己監督型アプローチの両方について検討する。 監視可能関数のクラスがリトルストーン次元が有限である場合に、エラーとクエリ率の消滅が可能である。 これは、労働者の監視と、対戦型オンライン学習に関する確立した文献を結びつける。 自己監督のために,テストタイム蒸留に基づく協調訓練手法を提案する。このモニタは,追加のテストタイム計算を用いてトレーニングラベルを生成し,それらのラベルに対して標準計算ポリシーを訓練する。 多数投票ラベルに対しては,アクションカバレッジを持つ適応作業者分布において有限サンプルのシャープ化を保証することで,モニタの判定が初期モーダル判定に収束することを示す。 我々は、労働者がモニターを騙すために反対に訓練されるコードセキュリティ設定で前者をストレステストする。 この結果から,適応モニタは作業戦略の進化に追随し,固定モニタは回避に弱いことが示唆された。

関連論文リスト

• Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
  強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。 本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
  論文  参考訳（メタデータ） (2026-09-21T08:08:56Z)
• Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory [11.144603446849674]
  CoT(Chain-of- Thought)モニターは、出力が興味のある属性を示す可能性があることを検知する推論トレースを分析するシステムである。 本稿では,CoTと出力の非ゼロな相互情報が必要であるが,CoT監視には不十分であることを示す。
  論文  参考訳（メタデータ） (2026-02-20T15:50:30Z)
• Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
  ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。 本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。 本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
  論文  参考訳（メタデータ） (2026-02-13T14:57:15Z)
• Monitoring Monitorability [7.993120960324396]
  本稿では,3つの評価アーチタイプ(介入,プロセス,結果整合性)と新しい監視可能性指標を提案する。 我々は、様々なフロンティアモデルの監視可能性を比較し、ほとんどのモデルが公平だが、完全には監視できないことを発見した。 モデルにフォローアップ質問をし、フォローアップCoTをモニターに付与することで、監視性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-12-20T10:46:04Z)
• Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
  プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。 我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
  論文  参考訳（メタデータ） (2025-10-10T15:12:44Z)
• Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
  従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。 動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。 我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
  論文  参考訳（メタデータ） (2025-09-30T13:32:59Z)
• Combining Cost-Constrained Runtime Monitors for AI Safety [0.25655761752240497]
  複数のランタイムモニタを単一の監視プロトコルに効率的に組み合わせる方法について検討する。 我々のフレームワークは、望ましくない振る舞いを検出するために既存のモニターを組み合わせるための原則化された方法論を提供する。
  論文  参考訳（メタデータ） (2025-07-19T04:28:40Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。