論文の概要: Corrupt Plans, Clean Traces: Evading Chain-of-Thought Monitoring with Plan Injection
- arxiv url: http://arxiv.org/abs/2609.15989v1
- Date: Mon, 14 Sep 2026 18:33:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.584225
- Title: Corrupt Plans, Clean Traces: Evading Chain-of-Thought Monitoring with Plan Injection
- Title（参考訳）: 事故計画, クリーントレース: プランインジェクションによるストレスモニタリングの活用
- Abstract要約: チェーン・オブ・シント(CoT)モニタリングは、大規模言語モデル「アクター」の推論を「モニター」によって検査する安全戦略である。
アクターのコンテキストに有害だが良心的な推論を植えることによって、モニターを回避しながら敵の行動を起こせることが判明した。
- 参考スコア（独自算出の注目度）: 21.905085829126666
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Chain-of-thought (CoT) monitoring is a safety strategy where the reasoning of a large language model "actor" is inspected by a "monitor" (often another language model) for signs of unsafe planning, deception, or misalignment. We find that planting harmful but benign-sounding reasoning in the actor's context can steer it to perform adversarial actions while evading monitors, an attack we term "plan injection". We initially discover this attack in the multiple-choice question-answering monitorability setting proposed by Lanham et al. (2023), using the investigator-agent elicitation framework of Li et al. (2025). We generalize the attack and show that the discovered behavior scales to harder tasks (achieving 25-33% monitor evasion rates across different monitorability benchmarks) and larger models such as DeepSeek-R1. Across the settings we study, actor models not only follow injected plans but also paraphrase them as their own reasoning, without explicit attribution to the injections. Finally, we find cases where extra monitor resources cause harm - giving the monitor access to the injected plan drops detection by as much as 50% in the Bio-Math task and in a case study on monitor reasoning budget, we find transcripts where additional thinking tokens are spent rationalizing the injected plan rather than flagging it.
- Abstract（参考訳）: CoT監視(Chain-of- Thought monitoring)とは、大規模な言語モデル"アクター"の推論を、安全でない計画や詐欺、誤った調整の兆候として"モニター"(しばしば別の言語モデル)によって検査する安全戦略である。
アクターのコンテキストに有害だが良心的な推論を植えることによって、モニターを避けながら敵の行動を起こせることがわかり、これは「プランインジェクション」と呼ばれる攻撃である。
我々はまず,Lanham et al (2023) が提唱した多点質問応答監視設定(2025)において,Li et al (2025) の研究者エージェント・エリケーション・フレームワークを用いて,この攻撃を発見した。
我々は、この攻撃を一般化し、発見された振る舞いが、より難しいタスク(異なる監視可能性ベンチマークで25～33%の回避率を達成する)とDeepSeek-R1のようなより大きなモデルにスケールすることを示します。
我々の研究した設定全体において、アクターモデルは注入計画に従うだけでなく、インジェクションへの明確な帰属なしに、それらを独自の推論として表現する。
最後に、追加の監視リソースが害を引き起こすケースを見つけます - 注入された計画にモニターアクセスを与えると、バイオマスタスクにおいて最大50%検出が減少し、モニター推論予算に関するケーススタディでは、追加の思考トークンが注入された計画にフラグを付けるのではなく、合理化するために費やされている転写物を見つけます。
関連論文リスト
- Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。
本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
論文 参考訳（メタデータ） (2026-05-29T17:57:00Z) - SLEIGHT-Bench: A Benchmark of Evasion Attacks Against Agent Monitors [3.989565392866092]
SLEIGHT-Bench (Subtle Low-itEration Insight-Guided Harmful Transcripts) は、11カテゴリにわたる40の攻撃を含む合成写本のベンチマークである。
40件中20件はOpus 4.6モニターで捕捉されず、10回の試験で1%の偽陽性率で思考を延長し、全体のキャッチレートは32%である。
論文 参考訳（メタデータ） (2026-05-15T20:46:46Z) - Behavior Cue Reasoning: Monitorable Reasoning Improves Efficiency and Safety through Oversight [8.531991753482838]
LLM(Large Language Models)における推論(Reasoning in Large Language Models)は、監視の課題である。
LLM推論をより制御しやすく、監視しやすくするための振舞いキュー推論を提案する。
論文 参考訳（メタデータ） (2026-05-07T23:05:50Z) - Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。
我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。
フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
論文 参考訳（メタデータ） (2026-03-14T00:12:14Z) - Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。
本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。
本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
論文 参考訳（メタデータ） (2026-02-13T14:57:15Z) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。
我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
論文 参考訳（メタデータ） (2025-10-10T15:12:44Z) - Monitoring Decomposition Attacks in LLMs with Lightweight Sequential Monitors [27.976136688947093]
現在のLLMの安全防衛は分解攻撃で失敗し、悪意のあるゴールは拒否を回避する良質なサブタスクに分解される。
より粒度の高い会話を観察する外部モニタの追加を提案する。
念入りに設計した軽量モニタは93%の防衛成功率を達成し、モニタとしてo3 miniのような推論モデルを上回る結果となった。
論文 参考訳（メタデータ） (2025-06-12T17:50:58Z) - CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。
CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。
このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
論文 参考訳（メタデータ） (2025-05-29T15:47:36Z) - CANTXSec: A Deterministic Intrusion Detection and Prevention System for CAN Bus Monitoring ECU Activations [53.036288487863786]
物理ECUアクティベーションに基づく最初の決定論的侵入検知・防止システムであるCANTXSecを提案する。
CANバスの古典的な攻撃を検知・防止し、文献では調査されていない高度な攻撃を検知する。
物理テストベッド上での解法の有効性を実証し,攻撃の両クラスにおいて100%検出精度を達成し,100%のFIAを防止した。
論文 参考訳（メタデータ） (2025-05-14T13:37:07Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳（メタデータ） (2022-11-02T17:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。