論文の概要: Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents

• arxiv url: http://arxiv.org/abs/2609.19587v1
• Date: Thu, 17 Sep 2026 02:14:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.067997
• Title: Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents
• Title（参考訳）: Red-Teaming Auto Mode: 悪性コーディングエージェントに対するブロック分類の改善
• Abstract要約: 運用システムは、実行前にそれを拒否できるブロッキングモニタを使用して、提案されたアクションをレビューする。 コーディングエージェントがレールから外れないようにするために、プロダクションシステムは、提案されたアクションをブロックモニターでレビューし、実行前にそれを拒否する。 高いレベルの攻撃戦略を指導すると、敵エージェントはいくつかの異なるメカニズムで成功できることがわかった。
• 参考スコア（独自算出の注目度）: 2.821981058413775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To keep coding agents from going off the rails, production systems now review each proposed action with a blocking monitor that can reject it before it runs (Auto Mode in Claude Code, Guardian in OpenAI's Codex). Prior evaluations of such monitors largely measure robustness to accidental harm or prompt injections from untrusted sources looking to hijack the agent. Less understood is how they hold up when the agent they monitor is persistently misaligned. To understand this risk, we task an adversarial agent with evading production blocking monitors and causing catastrophic harm, e.g. by exfiltrating its own weights. We find that when instructed with high-level attack strategies, adversarial agents can succeed through several distinct mechanisms, such as agent-generated prompt injection against the monitor, multi-agent attacks, and malicious compaction. In particular we find that in 79% of trials, the agent can use an injection attack against Auto Mode and Guardian to run arbitrary bash commands. We also find that it is possible to greatly improve Auto Mode through design changes like enhancements to tool coverage, transcript formatting and an agentic monitor stage. Even with these improvements, preventing multi-context attacks at an acceptable cost remains an open problem. By detailing our red-teaming methodology and highlighting new attack vectors, we aim to help defenders evaluate their mitigations against the possibility of persistent malign coding agents. Code is available at https://github.com/safety-research/red-teaming-auto-mode.
• Abstract（参考訳）: コーディングエージェントがレールから外れないようにするために、プロダクションシステムは、提案されたアクションを、実行前に拒否可能なブロッキングモニタでレビューする(OpenAIのCodexにあるClaude CodeのAuto Mode、GuardianのGuardian)。 このようなモニターの事前評価は、エージェントを乗っ取ろうとする信頼できないソースからの事故被害や迅速な注入に対するロバストさを主に測定する。 監視対象のエージェントが過度に不一致している場合、どのように保持するかについては、あまり理解されていない。 このリスクを理解するために、敵エージェントに対して、生産遮断モニターを回避し、例えば、自重を浸透させることで破滅的な害を生じさせることを課題とする。 高レベルの攻撃戦略を指導すると、エージェント生成プロンプトインジェクション、マルチエージェントアタック、悪意のあるコンパクト化など、複数の異なるメカニズムによって敵エージェントが成功することが判明した。 特に、トライアルの79%では、エージェントはAuto ModeとGuardianに対してインジェクションアタックを使用して任意のbashコマンドを実行することができる。 また、ツールカバレッジの拡張、転写フォーマット、エージェントモニターステージなどのデザイン変更により、Auto Modeを大幅に改善できることもわかりました。 これらの改善にもかかわらず、許容可能なコストでマルチコンテキスト攻撃を防ぐことは、未解決の問題である。 我々は,我々のレッドチームの方法論を詳述し,新たな攻撃ベクトルを強調することによって,永続的な悪性コーディングエージェントの可能性に対する防御者の軽減策を評価することを目指している。 コードはhttps://github.com/safety-research/red-teaming-auto-modeで公開されている。

関連論文リスト

• Reflections on Trusting Trust, Revisited: Contaminating Self-Modifying AI Coding Agents with Poisoned Benchmarks [22.272681549351983]
  我々は,Darwin Gdel Machine,Self-Improving Coding Agent,Hyperagentsの3つの自己修正型コーディングエージェントを攻撃した。 我々は、ベンチマーク中毒攻撃を可能にするのに十分な脆弱性、ベンチマーク、モデル、エージェントの足場の特性を蒸留する。 自己修正型コーディングエージェントは、このような攻撃に対してより回復力のあるように設計されなければならない、と我々は主張する。
  論文  参考訳（メタデータ） (2026-09-15T20:32:53Z)
• SLEIGHT-Bench: A Benchmark of Evasion Attacks Against Agent Monitors [3.989565392866092]
  SLEIGHT-Bench (Subtle Low-itEration Insight-Guided Harmful Transcripts) は、11カテゴリにわたる40の攻撃を含む合成写本のベンチマークである。 40件中20件はOpus 4.6モニターで捕捉されず、10回の試験で1%の偽陽性率で思考を延長し、全体のキャッチレートは32%である。
  論文  参考訳（メタデータ） (2026-05-15T20:46:46Z)
• WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents [117.65855863464863]
  Webエージェントはインジェクション攻撃に対して非常に脆弱である。 システム・プロンプト・ディフェンス(英語版)やエージェントの直接微調整を含む既存の防御は、効果が限られている。 本稿では,WebAgentGuardを導入し,インジェクション検出のためのマルチモーダルガードモデルを提案する。
  論文  参考訳（メタデータ） (2026-04-14T04:50:35Z)
• SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
  エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。 フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。 本手法は,現実的な環境下で高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-15T16:09:48Z)
• Bypassing AI Control Protocols via Agent-as-a-Proxy Attacks [12.356708678431183]
  現在の防御は、エージェントのChain-of-Thought(CoT)とツール使用アクションを共同で評価し、ユーザの意図との整合性を保証する監視プロトコルに依存している。 これらの監視ベースの防御は、新しいエージェント・アズ・ア・プロキシ・ア・プロキシ・アタックによってバイパス可能であることを実証する。 以上の結果から,現在の監視型エージェント防御は,モデルスケールによらず根本的に脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-04T21:38:38Z)
• Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
  プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。 我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
  論文  参考訳（メタデータ） (2025-10-10T15:12:44Z)
• BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
  BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
  論文  参考訳（メタデータ） (2025-08-11T16:04:47Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。