論文の概要: Screwtape: Adversarial Transcript Editing for Monitor Red-Teaming

• arxiv url: http://arxiv.org/abs/2610.20941v1
• Date: Wed, 14 Oct 2026 21:08:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.074983
• Title: Screwtape: Adversarial Transcript Editing for Monitor Red-Teaming
• Title（参考訳）: Screwtape: モニタレッドチームのための逆転写編集
• Abstract要約: Screwtapeは、実際のエージェントの書き起こしを、アクションのみのモニタを回避する攻撃に変換するパイプラインである。 開発者のインフラストラクチャにアクセスできないレッドチームでは、開発者のモニタの失敗を確認することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Screwtape, a pipeline that converts real agent transcripts into attacks that evade action-only monitors. An LLM attacker edits a transcript so that the agent causes a specified harm, such as leaking an API key or spawning an unmonitored agent. The edited actions are never executed, so we use an LLM verifier to reject attacks that are inconsistent with the original transcript or below a severity bar. The attacker revises the edit until the monitor no longer flags it. We applied Screwtape to 94 Claude Code and Codex transcripts from Redwood Research staff, optimizing against our own monitors. Across 252 runs, it produced 35 attacks that passed the verifier and evaded these monitors. Six of them, confirmed valid by human review, also evaded a held-out monitor provided by a frontier developer. We therefore demonstrate that a red-teamer without access to a developer's infrastructure can find confirmed failures of the developer's monitor. We expect to find more attacks when the pipeline runs inside the developer's infrastructure, with frontier attacker models that lack refusal safeguards and direct optimization against the production monitor. Developers can use these attacks to fix monitor blind spots, and evaluators can use them as counterexamples to safety claims about the monitor.
• Abstract（参考訳）: 我々は、実際のエージェントの書き起こしを、アクションのみのモニタを回避する攻撃に変換するパイプラインであるScrewtapeを紹介する。 LLM攻撃者は、APIキーをリークしたり、監視されていないエージェントを産み出すなど、特定の害を引き起こすように、転写文を編集する。 編集されたアクションは実行されないので、LLM検証器を使用して、元のスクリプティングと矛盾する攻撃や重度バーの下の攻撃を拒否します。 攻撃者は、モニターがそれをフラグ付けしなくなるまで、編集を更新する。 我々はRedwood Researchのスタッフから94 Claude Code と Codex の書き起こしに Screwtape を適用した。 252回にわたって35回の攻撃を発生させ、検証をパスし、これらのモニターを回避した。 そのうち6人は、人間によるレビューで正当であると確認され、フロンティア開発者によって提供されたホールドアウトモニターも回避された。 したがって、開発者のインフラにアクセスできないレッドチームでは、開発者のモニターの失敗が確認できる。 パイプラインが開発者のインフラストラクチャ内を走ると、リフレクションの保護とプロダクションモニタに対する直接的な最適化が欠如したフロンティアアタックモデルによって、より多くのアタックが見つかることを期待しています。 開発者はこれらの攻撃を盲点モニターの修正に使用することができ、評価者はモニターの安全性に関する主張に対する反例として使用することができる。

関連論文リスト

• CredLeakBench: Evaluating Credential Leakage and Recovery in LLM Agents [58.28055202832338]
  言語モデルエージェントは日々のデジタル雑用を自動化するためにますますデプロイされている。 この機能は、フィッシングに機密情報を公開する。 CredLeak-Benchは、ヒューマンタスクの効果的かつセキュアなエージェントの自動化を評価するために設計されたベンチマークである。
  論文  参考訳（メタデータ） (2026-10-06T05:07:33Z)
• hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
  コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。 我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。 HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
  論文  参考訳（メタデータ） (2026-10-02T09:35:59Z)
• Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents [2.821981058413775]
  運用システムは、実行前にそれを拒否できるブロッキングモニタを使用して、提案されたアクションをレビューする。 コーディングエージェントがレールから外れないようにするために、プロダクションシステムは、提案されたアクションをブロックモニターでレビューし、実行前にそれを拒否する。 高いレベルの攻撃戦略を指導すると、敵エージェントはいくつかの異なるメカニズムで成功できることがわかった。
  論文  参考訳（メタデータ） (2026-09-17T02:14:53Z)
• Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
  我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。 本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
  論文  参考訳（メタデータ） (2026-05-29T17:57:00Z)
• SLEIGHT-Bench: A Benchmark of Evasion Attacks Against Agent Monitors [3.989565392866092]
  SLEIGHT-Bench (Subtle Low-itEration Insight-Guided Harmful Transcripts) は、11カテゴリにわたる40の攻撃を含む合成写本のベンチマークである。 40件中20件はOpus 4.6モニターで捕捉されず、10回の試験で1%の偽陽性率で思考を延長し、全体のキャッチレートは32%である。
  論文  参考訳（メタデータ） (2026-05-15T20:46:46Z)
• MonitoringBench: Semi-Automated Red-Teaming for Agent Monitoring [0.0]
  我々は、監視エージェントに対するより困難な攻撃を露呈する、レッドチーム方式を導入する。 その結果、フロンティアモニターは不審な動作を検出することが多いが、説得のために倒れたり、不審な点を適切に校正できないことが判明した。 MonitoringBenchは、監視機能と障害モードを評価するための2,644のアタックトラジェクトリのベンチマークである。
  論文  参考訳（メタデータ） (2026-05-10T18:04:31Z)
• Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
  言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。 我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。 フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
  論文  参考訳（メタデータ） (2026-03-14T00:12:14Z)
• Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
  プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。 我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
  論文  参考訳（メタデータ） (2025-10-10T15:12:44Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。