論文の概要: Reflections on Trusting Trust, Revisited: Contaminating Self-Modifying AI Coding Agents with Poisoned Benchmarks

• arxiv url: http://arxiv.org/abs/2609.17817v1
• Date: Tue, 15 Sep 2026 20:32:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.536656
• Title: Reflections on Trusting Trust, Revisited: Contaminating Self-Modifying AI Coding Agents with Poisoned Benchmarks
• Title（参考訳）: 信頼の振り返り、再考: 自己修正型AIコーディングエージェントを評価ベンチマークで汚染する
• Abstract要約: 我々は,Darwin Gdel Machine,Self-Improving Coding Agent,Hyperagentsの3つの自己修正型コーディングエージェントを攻撃した。 我々は、ベンチマーク中毒攻撃を可能にするのに十分な脆弱性、ベンチマーク、モデル、エージェントの足場の特性を蒸留する。 自己修正型コーディングエージェントは、このような攻撃に対してより回復力のあるように設計されなければならない、と我々は主張する。
• 参考スコア（独自算出の注目度）: 22.272681549351983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Thompson's "Reflections on Trusting Trust" showed that a compiler can be poisoned to reinsert its own backdoor, so that even recompiling clean source reproduces the Trojan. Today, substantial coding work is done by AI coding agents -- and increasingly, those agents generate new versions of themselves. We reconsider Thompson's attack when the "compiler" is a self-modifying coding agent. Can an adversary supply poisoned benchmarks to the agent's self-evaluation and self-improvement process to induce future versions of the agent to write vulnerable code on clean, held-out tasks? We instantiate this attack against three recently proposed self-modifying coding agents: the Darwin Gödel Machine (with our experimental modifications), the Self-Improving Coding Agent, and Hyperagents (both substantively unmodified). We demonstrate successful proofs-of-concept: for example, with Hyperagents powered by Sonnet 4.5, our poisoned benchmark leads the agent to self-evolve instructions that disable HTTPS certificate validation on neutral URL-fetching tasks. From our experiments, we distill properties of the vulnerability, benchmark, model, and agent scaffolding that are sufficient to enable a benchmark poisoning attack. Moreover, we show that contamination often persists even when a poisoned agent is subsequently evolved against clean benchmarks. We discuss defensive directions and argue that self-modifying coding agents must be designed to be more resilient to such attacks.
• Abstract（参考訳）: Thompson の "Reflections on Trusting Trust" は、コンパイラが毒を盛って自身のバックドアを再販し、クリーンなソースを再コンパイルしてもトロイの木を再現できることを示した。 現在、かなりのコーディング作業はAIコーディングエージェントによって行われています。 我々は「コンパイラ」が自己修正型コーディングエージェントである場合、トンプソンの攻撃を再考する。 エージェントの自己評価と自己改善プロセスに有害なベンチマークを供給すれば、エージェントの将来のバージョンを誘導して、クリーンでホールドアウトされたタスクで脆弱性のあるコードを書くことができるだろうか? 我々は、最近提案されたDarwin Gödel Machine(実験的な修正を含む)、Self-Improving Coding Agent、Hyperagents(いずれも実質的無修正)の3つの自己修正コーディングエージェントに対するこの攻撃をインスタンス化する。 例えば、Sonnet 4.5をベースとしたHyperagentを使って、当社の有毒なベンチマークは、中立的なURLフェッチタスクでHTTPS認証の検証を無効にする自己進化的な命令をエージェントに導きます。 実験から, ベンチマーク中毒攻撃を可能にするのに十分な脆弱性, ベンチマーク, モデル, エージェントの足場特性を抽出した。 さらに, 汚染物質がクリーンベンチマークに対して進化しても, 汚染は持続することを示した。 我々は防衛方針について議論し、このような攻撃に対してより弾力性のある自己修正型コーディングエージェントを設計する必要があると論じる。

関連論文リスト

• Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents [2.821981058413775]
  運用システムは、実行前にそれを拒否できるブロッキングモニタを使用して、提案されたアクションをレビューする。 コーディングエージェントがレールから外れないようにするために、プロダクションシステムは、提案されたアクションをブロックモニターでレビューし、実行前にそれを拒否する。 高いレベルの攻撃戦略を指導すると、敵エージェントはいくつかの異なるメカニズムで成功できることがわかった。
  論文  参考訳（メタデータ） (2026-09-17T02:14:53Z)
• IssueTrojanBench: Benchmarking AI Coding Agents Against Malicious Issue Requests [6.180456551480933]
  本稿では、最先端AI符号化エージェントに対する悪意ある問題要求の体系的評価について述べる。 我々の結果は、非デプロイの現代のコーディングエージェントの重大な脆弱性を明らかにします。 我々の発見は、AIコーディングエージェントを保護するために、より強力なエージェントとモデルレベルの安全メカニズムが緊急に必要であることを示している。
  論文  参考訳（メタデータ） (2026-07-22T22:20:02Z)
• Agent Hacks Agent: Autoresearch for Production-Agent Red-Teaming [8.592488240217625]
  本研究では, 1 つのエージェント研究環境を用いて, 生産用 LLM エージェントの自動リピートについて検討した。 脆弱性仮説を提案し、ファルシファイアを構築し、有効な攻撃をインスタンス化し、サンドボックス化されたハーネスで実行し、検証された結果をVulnerability Concept Graph(VCG)にプロモートする。 直接および間接的な攻撃をカバーする3つのシナリオに関するClude CodeとCodexの裏側で、発見された概念は、モデルとエージェント間で再利用可能な脆弱性コアを明らかにしている。
  論文  参考訳（メタデータ） (2026-07-13T15:31:04Z)
• SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
  エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。 フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。 本手法は,現実的な環境下で高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-15T16:09:48Z)
• Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
  自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。 敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
  論文  参考訳（メタデータ） (2025-10-03T12:47:21Z)
• RedCodeAgent: Automatic Red-teaming Agent against Diverse Code Agents [70.24175620901538]
  コードエージェントは、強力なコード生成機能とコードインタプリタとの統合により、広く採用されている。 現在の静的安全性ベンチマークとレッドチームツールは、出現する現実世界のリスクシナリオを特定するのに不十分である。 我々はRedCodeAgentを提案する。RedCodeAgentは、多様なコードエージェントの脆弱性を体系的に発見するように設計された、最初の自動リピートエージェントである。
  論文  参考訳（メタデータ） (2025-10-02T22:59:06Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。