論文の概要: CoT-Guard: Small Models for Strong Monitoring

• arxiv url: http://arxiv.org/abs/2605.12746v1
• Date: Tue, 12 May 2026 20:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.6865
• Title: CoT-Guard: Small Models for Strong Monitoring
• Title（参考訳）: CoT-Guard: 強力なモニタリングのための小さなモデル
• Authors: Nirav Diwan, Han Wang, Berkcan Kapusuzoglu, Ramin Moradi, Supriyo Chakraborty, Giri Iyengar, Sambit Sahu, Huan Zhang, Gang Wang,
• Abstract要約: 推論モデルのチェーンオブ思考(CoT)をモニタリングすることは、コード生成タスクにおける隠蔽行動(隠蔽目的)を検出するための有望なアプローチである。 大きなモデル(GPT-5、Gemini-3-Flash)は効果的なCoTモニタとして機能するが、長い推論トレースと高いAPIコストのためにデプロイに費用がかかる。 本研究では、教師付き微調整(SFT)と強化学習(RL)を組み合わせた後学習パイプラインを提案し、SFTはドメイン内タスクのギャップを狭める。
• 参考スコア（独自算出の注目度）: 13.584850312226918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monitoring the chain-of-thought (CoT) of reasoning models is a promising approach for detecting covert misbehavior (i.e., hidden objectives) in code generation tasks. While large models (GPT-5, Gemini-3-Flash) can serve as effective CoT monitors, they are expensive to deploy due to the lengthy reasoning traces and high API cost, emphasizing the need for smaller, cheaper alternatives. Nevertheless, we find that current small models (4B--8B) struggle to detect hidden objectives despite access to the CoT, frequently misattributing them as part of the user query. To address this, we propose a post-training pipeline combining supervised fine-tuning (SFT) and reinforcement learning (RL), where SFT narrows the gap for in-domain tasks by distilling detection behavior from stronger monitors, and RL on hard and subtly crafted hidden objectives helps the model generalize to out-of-domain monitoring tasks. To validate this generalization, we evaluate under a realistic threat model motivated by practical supply-chain attacks, where the adversary is a third-party LLM router injecting hidden objectives into code-generation requests through either prompt manipulation or code manipulation attacks. To push beyond objectives that large monitors already saturate, we also introduce four new challenging tasks even for strong monitors. Finally, we introduce CoT-Guard, a 4B-parameter monitor that demonstrates superior generalization performance under both prompt and code manipulation attacks, achieving a G-mean^2 (i.e., TNR x TPR) of 75% and outperforming GPT-5.4 (56%), GPT-5-mini (41%), and Qwen3-32B (54%), while closing the gap to Gemini-3-Flash (83%). These results demonstrate that CoT-Guard provides a practical and cost-effective user-side defense, substantially improving hidden-objective detection while avoiding the deployment cost of large monitors.
• Abstract（参考訳）: 推論モデルのチェーンオブ思考(CoT)をモニタリングすることは、コード生成タスクにおける隠蔽行動(隠蔽目的)を検出するための有望なアプローチである。 大きなモデル(GPT-5、Gemini-3-Flash)は効果的なCoTモニターとして機能するが、長い推論トレースと高いAPIコストのためにデプロイするコストが高く、より小さく安価な代替手段の必要性を強調している。 それにもかかわらず、現在の小さなモデル(4B--8B)は、CoTへのアクセスにもかかわらず隠れた目的を検出するのに苦労している。 そこで本研究では,教師付き微調整(SFT)と強化学習(RL)を組み合わせた後学習パイプラインを提案する。SFTは,強力なモニタから検出動作を蒸留することにより,ドメイン内タスクのギャップを狭める。 この一般化を検証するために、我々は、現実的なサプライチェーン攻撃を動機とした現実的な脅威モデルの下で、敵は、素早い操作またはコード操作攻撃によって、コード生成要求に隠れた目的を注入するサードパーティのLCMルータである。 大型モニタがすでに飽和している目標を超えるために、強力なモニタでさえも、新しい4つの挑戦的タスクを導入する。 最後に, G-mean^2 (TNR x TPR) 75%を達成し, GPT-5.4 (56%), GPT-5-mini (41%), Qwen3-32B (54%) を達成し, Gemini-3-Flash (83%) とのギャップを埋める4BパラメータモニタであるCoT-Guardを紹介する。 これらの結果から,CoT-Guardは,大規模モニタの配置コストを回避しつつ,隠れ対象検出を大幅に改善し,実用的で費用対効果の高いユーザ側防御を提供することが示された。

関連論文リスト

• MonitoringBench: Semi-Automated Red-Teaming for Agent Monitoring [0.0]
  我々は、監視エージェントに対するより困難な攻撃を露呈する、レッドチーム方式を導入する。 その結果、フロンティアモニターは不審な動作を検出することが多いが、説得のために倒れたり、不審な点を適切に校正できないことが判明した。 MonitoringBenchは、監視機能と障害モードを評価するための2,644のアタックトラジェクトリのベンチマークである。
  論文  参考訳（メタデータ） (2026-05-10T18:04:31Z)
• T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search [49.99459363244884]
  提案手法は, 対向的プロンプトの発見を導くために, 実行トラジェクトリを利用するトラジェクトリ対応の進化探索手法であるT-MAPを提案する。 本手法は,安全ガードレールをバイパスするだけでなく,実際のツールインタラクションによる有害な目標を確実に実現するための攻撃の自動生成を可能にする。
  論文  参考訳（メタデータ） (2026-03-21T12:33:34Z)
• Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
  プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。 我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
  論文  参考訳（メタデータ） (2025-10-10T15:12:44Z)
• Monitoring Decomposition Attacks in LLMs with Lightweight Sequential Monitors [27.976136688947093]
  現在のLLMの安全防衛は分解攻撃で失敗し、悪意のあるゴールは拒否を回避する良質なサブタスクに分解される。 より粒度の高い会話を観察する外部モニタの追加を提案する。 念入りに設計した軽量モニタは93%の防衛成功率を達成し、モニタとしてo3 miniのような推論モデルを上回る結果となった。
  論文  参考訳（メタデータ） (2025-06-12T17:50:58Z)
• CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
  CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。 CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。 このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
  論文  参考訳（メタデータ） (2025-05-29T15:47:36Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)
• Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection [56.66677293607114]
  オープンセットのリアクティブかつアクティブな障害検出のためのCode-as-Monitor(CaM)を提案する。 モニタリングの精度と効率を高めるために,制約関連エンティティを抽象化する制約要素を導入する。 実験により、CaMは28.7%高い成功率を達成し、厳しい乱れの下で実行時間を31.8%短縮することが示された。
  論文  参考訳（メタデータ） (2024-12-05T18:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。