論文の概要: Model Organisms of Collusion: Corrective Transfer in Untrusted Monitors
- arxiv url: http://arxiv.org/abs/2610.30582v1
- Date: Thu, 22 Oct 2026 01:22:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.182211
- Title: Model Organisms of Collusion: Corrective Transfer in Untrusted Monitors
- Title（参考訳）: 衝突のモデル生物:信頼できないモニターにおける矯正的移動
- Abstract要約: コントロールプロトコルは、振る舞いの監視によって不一致となる可能性のあるモデルから有用な作業を得ることを目的としています。
あるアプローチでは、モニターと同じモデルの2番目のコピーを使用します。
これにより、モデルはより弱いレビュアーに依存しないが、共謀のリスクがある。
ひとつの対策は、コントロールチームが捉えた不正行動の例をモニタに微調整することだ。
- 参考スコア（独自算出の注目度）: 0.629168122709476
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI control protocols aim to get useful work from models that may be misaligned by monitoring their behaviour. One approach uses a second copy of the same model as the monitor. This avoids relying on a weaker reviewer the model could outsmart, but risks collusion: the model, now monitoring itself, may cover up its own misbehaviour. One remedy is to fine-tune the monitor on whatever examples of misbehaviour the control team has caught. We ask whether this training also removes collusion that the control team has not yet found. We fine-tune Llama-3.3-70B and Qwen2.5-72B to install five policy-monitor behaviour pairs, correct the monitor on 300 honest reviews of one caught collusion, and measure collusion on the other four in unseen prompt formats. Averaged over the three seeds of each family, correction reduces held-out collusion from 91% to 14-20% under three of the four methods we compare (individual seeds 10-32%), while a control fine-tuned on the same number of unrelated examples leaves 56-93%. Family-average accuracy on control items changes by at most five points and capability is preserved, apart from a drop in mathematical accuracy on one Llama seed. Under the tested training configuration, methods with similar caught-task accuracy differ in held-out transfer, from 58% to 83% average reduction, so the caught behaviour alone does not reveal how far a correction reaches. Catching one collusion lets the control team reduce, but not remove, collusion it has not caught, by retraining the monitor alone.
- Abstract（参考訳）: AIコントロールプロトコルは、振る舞いの監視によって不一致となる可能性のあるモデルから有用な作業を得ることを目的としている。
あるアプローチでは、モニターと同じモデルの2番目のコピーを使用します。
これにより、モデルはより弱いレビュアーに依存しないが、共謀のリスクがある。
ひとつの対策は、コントロールチームが捉えた不正行動の例をモニタに微調整することだ。
このトレーニングでは、コントロールチームがまだ見つけていないという誤解も取り除きます。
我々は、Llama-3.3-70BとQwen2.5-72Bを微調整して、5つのポリシー・モニターの動作ペアをインストールし、1つのキャッチされた衝突の300の正直なレビューでモニターを補正し、他の4つの衝突を目に見えないプロンプト形式で測定する。
比較した4つの方法(個人種10～32%)の3つのうち、各家系の3つの種子を平均して比較すると、保留の衝突は91%から14～20%に減少し、同じ数の無関係なサンプルを微調整すると56～93%が残る。
制御項目の家族平均精度は、Llamaシードの1つの数学的精度の低下を除いて、少なくとも5ポイント変化し、能力は維持される。
実験では, 58%から83%の減少率で, キャッチタスクの精度が類似する手法が異なるため, 捕食行動だけでは補正がどこまで達するかは明らかになっていない。
ひとつのコラシオンを1つ組み合わせることで、コントロールチームはモニターのみをトレーニングすることで、コラシオンをキャッチしていないコラシオンを軽減できるが、取り除くことはできない。
関連論文リスト
- VeriCUA: Learning Proactive Verification for Reliable GUI Agent Rewards [52.80093616378547]
単試行で検証戦略を学習する積極的報酬エージェントであるVeriCUAを紹介する。
オンライン強化学習は、判決の正当性と効率の良いプローブの使用の両方を最適化する。
GPT-5.4を5.36ポイント上回り、プロブトークンは47.6%-59.8%減少し、1B VeriCUAも全ての審査員を上回る。
論文 参考訳（メタデータ） (2026-10-19T14:17:33Z) - hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。
我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。
HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
論文 参考訳（メタデータ） (2026-10-02T09:35:59Z) - Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。
これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
論文 参考訳（メタデータ） (2026-09-26T21:56:26Z) - Beyond the Transcript: Detecting Covert Co ordination in Latent Multi-Agent Communication [19.840551611758247]
言語モデルエージェントは、公開文書で見えない連続的な隠れた状態を通じて通信することができる。
本稿では,これらのプライベート通信チャネルの監視とステアリングのためのアクティベーション対応フレームワークであるVerifiable Latent Alignments (VLA)を紹介する。
論文 参考訳（メタデータ） (2026-08-19T17:43:22Z) - Persuasion Attacks Can Decrease Effectiveness of CoT Monitoring [0.5868212710728535]
チェーン・オブ・思想(CoT)モニタリングはAIエージェントにとって有望な安全メカニズムである。
我々は何千ものエージェントとモニターのインタラクションを分析し、エージェントにポリシー違反の提案を議論するように指示する。
このような敵対的な状況下では、有害な行為の承認を平均9.5%減らすのではなく、エージェントのCoT推論へのアクセスを監視することが判明した。
論文 参考訳（メタデータ） (2026-07-09T02:48:36Z) - Calibration-Family Overfit: Why Trusted Sabotage Monitors Don't Transfer Across Lineages [0.7252027234425333]
我々は、信頼できない政策家族を制御軸とし、家族間のAUROCを、各家族のサボタージュがいかに明白であるかに分解する。
コードバックドアの書き起こしでは、相互作用は肯定的であり、支配的なコンファウンドを生き残る。
ギャップに作用する4段階のプロトコルを,各ステップで測定結果を出力する。
論文 参考訳（メタデータ） (2026-07-06T22:40:07Z) - Trust Between AI Agents: Measuring Formation, Breakage, and Recovery, with Implications for Governing Multi-Agent Systems [0.0]
本稿では,コスト検証に基づく行動尺度を提案する。
協力的なサバイバルゲームでは、チームメイトの仕事をチェックすることがリソースを消費し、間違った回答を信頼することは致命的になる。
6つのフロンティアモデルスナップショットにおける信頼形成,破壊,回復について検討した。
論文 参考訳（メタデータ） (2026-06-12T19:58:26Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。
本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
論文 参考訳（メタデータ） (2026-05-29T17:57:00Z) - TraceGuard: Structured Multi-Dimensional Monitoring as a Collusion-Resistant Control Protocol [1.0195618602298684]
TraceGuardは5次元にわたるエージェントアクションを評価する構造化多次元監視プロトコルである。
オープンソースのControlArenaフレームワーク用の新しいモニタタイプとして実装されている。
論文 参考訳（メタデータ） (2026-04-05T05:05:59Z) - Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。
最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
論文 参考訳（メタデータ） (2025-03-14T23:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。