論文の概要: Shadows in the Code: Exploring the Risks and Defenses of LLM-based Multi-Agent Software Development Systems
- arxiv url: http://arxiv.org/abs/2511.18467v1
- Date: Sun, 23 Nov 2025 14:26:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.85341
- Title: Shadows in the Code: Exploring the Risks and Defenses of LLM-based Multi-Agent Software Development Systems
- Title（参考訳）: コードの影 - LLMベースのマルチエージェントソフトウェア開発システムのリスクと防御を探る
- Authors: Xiaoqing Wang, Keman Huang, Bin Liang, Hongyu Li, Xiaoyong Du,
- Abstract要約: リスクのある2つのシナリオを識別する: 悪質なエージェントを持つ悪意のあるユーザ(MU-BA)と悪質なエージェントを持つ良質なユーザ(BU-MA)。
Indicit Malicious Behavior Injection Attack (IMBIA)を導入し、マルチエージェントシステムをどのように操作して悪質な機能を隠蔽したソフトウェアを生成するかを示す。
本研究は,マルチエージェントソフトウェア開発システムにおける堅牢なセキュリティ対策の急激なニーズを浮き彫りにするものである。
- 参考スコア（独自算出の注目度）: 15.276177828252829
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of Large Language Model (LLM)-driven multi-agent systems has significantly streamlined software developing tasks, enabling users with little technical expertise to develop executable applications. While these systems democratize software creation through natural language requirements, they introduce significant security risks that remain largely unexplored. We identify two risky scenarios: Malicious User with Benign Agents (MU-BA) and Benign User with Malicious Agents (BU-MA). We introduce the Implicit Malicious Behavior Injection Attack (IMBIA), demonstrating how multi-agent systems can be manipulated to generate software with concealed malicious capabilities beneath seemingly benign applications, and propose Adv-IMBIA as a defense mechanism. Evaluations across ChatDev, MetaGPT, and AgentVerse frameworks reveal varying vulnerability patterns, with IMBIA achieving attack success rates of 93%, 45%, and 71% in MU-BA scenarios, and 71%, 84%, and 45% in BU-MA scenarios. Our defense mechanism reduced attack success rates significantly, particularly in the MU-BA scenario. Further analysis reveals that compromised agents in the coding and testing phases pose significantly greater security risks, while also identifying critical agents that require protection against malicious user exploitation. Our findings highlight the urgent need for robust security measures in multi-agent software development systems and provide practical guidelines for implementing targeted, resource-efficient defensive strategies.
- Abstract（参考訳）: LLM(Large Language Model)によるマルチエージェントシステムの急速な進歩により、ソフトウェア開発タスクは大幅に合理化され、技術的専門知識の少ないユーザが実行可能なアプリケーションを開発することができるようになった。
これらのシステムは自然言語の要求によってソフトウェア作成を民主化するが、ほとんど探索されていない重大なセキュリティリスクを導入する。
そこで我々は,悪質なエージェントを用いた悪意のあるユーザ (MU-BA) と,悪質なエージェントによる良質なユーザ (BU-MA) の2つのリスクシナリオを特定した。
Indicit Malicious Behavior Injection Attack (IMBIA) を導入し, 悪質なアプリケーションを隠蔽したソフトウェアを生成するためにマルチエージェントシステムをどのように操作できるかを実証し, 防御機構としてAdv-IMBIAを提案する。
ChatDev、MetaGPT、AgenVerseフレームワークによる評価では、MBIAがMU-BAシナリオで93%、45%、71%、84%、BU-MAシナリオで45%という、さまざまな脆弱性パターンが示されている。
我々の防衛機構は、特にMU-BAシナリオにおいて、攻撃成功率を著しく低下させました。
さらなる分析によると、コーディングおよびテストフェーズにおける侵入されたエージェントは、重大なセキュリティリスクを伴い、悪意のあるユーザエクスプロイトに対する保護を必要とする重要なエージェントを識別する。
本研究は,マルチエージェントソフトウェア開発システムにおける堅牢なセキュリティ対策の必要性を強調し,目標とする資源効率の防御戦略を実現するための実践的ガイドラインを提供する。
関連論文リスト
- OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳（メタデータ） (2026-02-13T21:32:32Z) - Analyzing Code Injection Attacks on LLM-based Multi-Agent Systems in Software Development [11.76638109321532]
本稿では,ソフトウェア工学プロセスの実装フェーズのためのマルチエージェントシステムのアーキテクチャを提案する。
このようなシステムは、非常に正確にコードを生成することができるが、コードインジェクションを含む攻撃に弱いことを実証する。
論文 参考訳（メタデータ） (2025-12-26T01:08:43Z) - Exposing Weak Links in Multi-Agent Systems under Adversarial Prompting [5.544819942438653]
本稿では,マルチエージェントシステムのセキュリティ評価を行うフレームワークであるSafeAgentsを提案する。
広く採用されている5つのマルチエージェントアーキテクチャについて検討する。
この結果から,一般的なデザインパターンには重大な脆弱性があることが判明した。
論文 参考訳（メタデータ） (2025-11-14T04:22:49Z) - RedCodeAgent: Automatic Red-teaming Agent against Diverse Code Agents [70.24175620901538]
コードエージェントは、強力なコード生成機能とコードインタプリタとの統合により、広く採用されている。
現在の静的安全性ベンチマークとレッドチームツールは、出現する現実世界のリスクシナリオを特定するのに不十分である。
我々はRedCodeAgentを提案する。RedCodeAgentは、多様なコードエージェントの脆弱性を体系的に発見するように設計された、最初の自動リピートエージェントである。
論文 参考訳（メタデータ） (2025-10-02T22:59:06Z) - Bridging AI and Software Security: A Comparative Vulnerability Assessment of LLM Agent Deployment Paradigms [1.03121181235382]
大規模言語モデル(LLM)エージェントは、AI固有の旧来のソフトウェアドメインにまたがるセキュリティ上の脆弱性に直面している。
本研究では,Function Calling アーキテクチャと Model Context Protocol (MCP) デプロイメントパラダイムの比較評価を通じて,このギャップを埋める。
私たちは7つの言語モデルにわたる3,250の攻撃シナリオをテストし、AI固有の脅威とソフトウェア脆弱性の両方を対象として、シンプルで、構成され、連鎖した攻撃を評価しました。
論文 参考訳（メタデータ） (2025-07-08T18:24:28Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。
行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。
また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
論文 参考訳（メタデータ） (2025-07-01T15:10:00Z) - LLM Agents Should Employ Security Principles [60.03651084139836]
本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。
AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
論文 参考訳（メタデータ） (2025-05-29T21:39:08Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - Guardians of the Agentic System: Preventing Many Shots Jailbreak with Agentic System [0.8136541584281987]
本研究は,3つの検査手法を用いて,逆チューリングテストによりローグエージェントを検出し,マルチエージェントシミュレーションにより知覚的アライメントを解析する。
GEMINI 1.5 Pro と llama-3.3-70B, Deepseek r1 モデルを用いて, 抗ジェイルブレイクシステムを開発した。
GEMINI 1.5 Proの94%の精度など、検出能力は強いが、長時間の攻撃を受けた場合、システムは永続的な脆弱性に悩まされる。
論文 参考訳（メタデータ） (2025-02-23T23:35:15Z) - Can We Trust Embodied Agents? Exploring Backdoor Attacks against Embodied LLM-based Decision-Making Systems [27.316115171846953]
大規模言語モデル(LLM)は、実世界のAI意思決定タスクにおいて大きな可能性を示している。
LLMは、固有の常識と推論能力を活用するために微調整され、特定の用途に適合する。
この微調整プロセスは、特に安全クリティカルなサイバー物理システムにおいて、かなりの安全性とセキュリティの脆弱性をもたらす。
論文 参考訳（メタデータ） (2024-05-27T17:59:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。