論文の概要: IssueTrojanBench: Benchmarking AI Coding Agents Against Malicious Issue Requests
- arxiv url: http://arxiv.org/abs/2607.20759v1
- Date: Wed, 22 Jul 2026 22:20:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.226554
- Title: IssueTrojanBench: Benchmarking AI Coding Agents Against Malicious Issue Requests
- Title（参考訳）: IssueTrojanBench: 悪意のある問題要求に対するAIコーディングエージェントのベンチマーク
- Abstract要約: 本稿では、最先端AI符号化エージェントに対する悪意ある問題要求の体系的評価について述べる。
我々の結果は、非デプロイの現代のコーディングエージェントの重大な脆弱性を明らかにします。
我々の発見は、AIコーディングエージェントを保護するために、より強力なエージェントとモデルレベルの安全メカニズムが緊急に必要であることを示している。
- 参考スコア（独自算出の注目度）: 6.180456551480933
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: AI coding agents powered by LLMs are increasingly integrated into real-world software development, where they generate, edit, and execute code with autonomous access to local files and tools. Coding agents inherit security risks from both the LLM backbone, where adversarial prompts, poisoned training data, and backdoor triggers can cause models to emit insecure or attacker-chosen code, and their agentic architecture, where tool-using autonomy enables induced misuse of external APIs, data exfiltration, and persistent compromise of development environments. This paper presents a systematic evaluation of malicious issue requests against state-of-the-art coding agents (Cursor, Claude Code, and Codex Desktop), powered by two major model families (OpenAI GPT-5.3 Codex/GPT-5.4 and Anthropic Sonnet 4.6). Our novel benchmark IssueTrojanBench contains malicious issues that are constructed based on four novel attack categories (i.e., embedded as malicious instructions in issues), six delivery vectors (e.g., PDF, or issue comment), and further augmented by perturbations. Our results reveal critical vulnerabilities in the as-deployed modern coding agents, i.e., 66.5% of the malicious issues from IssueTrojanBench penetrate all the guardrails (agent- and LLM-level) of coding agents. Our further analysis shows that rejection is almost entirely from LLMs rather than the agent frameworks, with GPT models broadly vulnerable and Sonnet 4.6 exhibiting more selective, risk-aware blocking of high-impact actions. Our evaluation also highlights that the current agent-level defense strategy offers limited additional protection for coding agents. Our findings highlight the urgent need for stronger agent- and model-level safety mechanisms to protect AI coding agents.
- Abstract（参考訳）: LLMを利用したAIコーディングエージェントは、ますます現実世界のソフトウェア開発に統合され、ローカルファイルやツールへの自律的なアクセスでコードを生成し、編集し、実行している。
コーディングエージェントは、敵対的なプロンプト、有毒なトレーニングデータ、バックドアトリガーの両方からセキュリティリスクを継承し、モデルが安全でないコードやアタッカーのコードを出力する可能性がある。
本稿では,2つの主要なモデルファミリ(OpenAI GPT-5.3 Codex/GPT-5.4 と Anthropic Sonnet 4.6)をベースとした,最先端のコーディングエージェント(Cursor, Claude Code, Codex Desktop)に対する悪意ある問題要求の体系的評価を行う。
新たなベンチマークである IssueTrojanBench には,4つの新たな攻撃カテゴリ(問題に悪意のある命令として埋め込まれた)と6つのデリバリベクタ(例:PDF,イシューコメント)に基づいて構築された悪意のある問題が含まれている。
以上の結果から,イシュートロイジャンベンチによる悪意のある問題の66.5%が,コーディングエージェントのガードレール(エージェントレベルおよびLSMレベル)を貫通している。
我々のさらなる分析によると、拒絶はエージェントフレームワークではなく、ほぼ完全にLDMからであり、GPTモデルは広範囲に脆弱性があり、Sonnet 4.6はより選択的でリスクに敏感なハイインパクトアクションのブロッキングを示す。
我々の評価は、現在のエージェントレベル防衛戦略がコーディングエージェントに限定的な保護を提供することも強調している。
我々の発見は、AIコーディングエージェントを保護するために、より強力なエージェントとモデルレベルの安全メカニズムが緊急に必要であることを示している。
関連論文リスト
- Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。
我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。
我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
論文 参考訳（メタデータ） (2026-06-29T18:00:45Z) - Analyzing Code Injection Attacks on LLM-based Multi-Agent Systems in Software Development [11.76638109321532]
本稿では,ソフトウェア工学プロセスの実装フェーズのためのマルチエージェントシステムのアーキテクチャを提案する。
このようなシステムは、非常に正確にコードを生成することができるが、コードインジェクションを含む攻撃に弱いことを実証する。
論文 参考訳（メタデータ） (2025-12-26T01:08:43Z) - The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。
CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文 参考訳（メタデータ） (2025-12-01T07:05:23Z) - Breaking Agent Backbones: Evaluating the Security of Backbone LLMs in AI Agents [36.2255033141489]
大規模言語モデル(LLM)を利用したAIエージェントが大規模にデプロイされているが、バックボーンLLMの選択がエージェントのセキュリティに与える影響について、体系的な理解が欠如している。
脅威スナップショット: 脆弱性が現れるエージェントの実行フロー内の特定の状態を分離するフレームワーク。
194331のユニークなクラウドソース攻撃に基づくセキュリティベンチマークである$operatornameb3$ベンチマークを構築するために,このフレームワークを適用した。
論文 参考訳（メタデータ） (2025-10-26T10:36:42Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z) - RedCodeAgent: Automatic Red-teaming Agent against Diverse Code Agents [70.24175620901538]
コードエージェントは、強力なコード生成機能とコードインタプリタとの統合により、広く採用されている。
現在の静的安全性ベンチマークとレッドチームツールは、出現する現実世界のリスクシナリオを特定するのに不十分である。
我々はRedCodeAgentを提案する。RedCodeAgentは、多様なコードエージェントの脆弱性を体系的に発見するように設計された、最初の自動リピートエージェントである。
論文 参考訳（メタデータ） (2025-10-02T22:59:06Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - MGC: A Compiler Framework Exploiting Compositional Blindness in Aligned LLMs for Malware Generation [22.29476520010842]
大規模言語モデル(LLM)はソフトウェア開発を民主化し、複雑なアプリケーションをプログラミングする際の専門知識の障壁を減らした。
このアクセシビリティは、悪意のあるソフトウェア開発にまで拡張され、重大なセキュリティ上の懸念がもたらされる。
本稿では,モジュール分解とアライメント回避生成を通じて,この脆弱性を活用する新しいフレームワークであるMalware Generation Compiler(MGC)を紹介する。
論文 参考訳（メタデータ） (2025-07-02T18:00:49Z) - Are AI-Generated Fixes Secure? Analyzing LLM and Agent Patches on SWE-bench [9.229310642804036]
我々は,SWE-benchデータセットから2万以上の問題を用いて,LLM生成パッチの大規模セキュリティ解析を行った。
スタンドアロンのLCM(Llama 3.3)によるパッチを評価し,開発者によるパッチと比較した。
また、データのサブセットに基づいて、トップパフォーマンスのエージェントフレームワーク(OpenHands、AutoCodeRover、HoneyComb)3つによって生成されたパッチのセキュリティを評価します。
論文 参考訳（メタデータ） (2025-06-30T21:10:19Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - Double Backdoored: Converting Code Large Language Model Backdoors to Traditional Malware via Adversarial Instruction Tuning Attacks [15.531860128240385]
本研究では、バックドアをAI/MLドメインから従来のコンピュータマルウェアに移行するための新しいテクニックについて検討する。
命令チューニングされたコードLLMのサイバーセキュリティ脆弱性を評価するためのフレームワークであるMalInstructCoderを提案する。
我々は,3つの最先端の Code LLM を含むコード固有命令チューニングプロセスの活用性について,包括的調査を行う。
論文 参考訳（メタデータ） (2024-04-29T10:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。