論文の概要: Multi-Agent Systems Execute Arbitrary Malicious Code

• arxiv url: http://arxiv.org/abs/2503.12188v1
• Date: Sat, 15 Mar 2025 16:16:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:32:31.885769
• Title: Multi-Agent Systems Execute Arbitrary Malicious Code
• Title（参考訳）: 任意悪意コードを実行するマルチエージェントシステム
• Authors: Harold Triedman, Rishi Jha, Vitaly Shmatikov,
• Abstract要約: 敵コンテンツは、システム内の制御と通信をハイジャックして、安全でないエージェントや機能を呼び出すことができることを示す。 直接的または間接的なプロンプト注入の影響を受けないエージェントであっても,制御フローハイジャック攻撃が成功することを示す。
• 参考スコア（独自算出の注目度）: 9.200635465485067
• License:
• Abstract: Multi-agent systems coordinate LLM-based agents to perform tasks on users' behalf. In real-world applications, multi-agent systems will inevitably interact with untrusted inputs, such as malicious Web content, files, email attachments, etc. Using several recently proposed multi-agent frameworks as concrete examples, we demonstrate that adversarial content can hijack control and communication within the system to invoke unsafe agents and functionalities. This results in a complete security breach, up to execution of arbitrary malicious code on the user's device and/or exfiltration of sensitive data from the user's containerized environment. We show that control-flow hijacking attacks succeed even if the individual agents are not susceptible to direct or indirect prompt injection, and even if they refuse to perform harmful actions.
• Abstract（参考訳）: マルチエージェントシステムは、LCMベースのエージェントを調整し、ユーザの代わりにタスクを実行する。 現実世界のアプリケーションでは、マルチエージェントシステムは、悪意のあるWebコンテンツ、ファイル、電子メールの添付ファイルなど、必然的に信頼できないインプットと対話する。 近年提案されている複数のマルチエージェントフレームワークを具体例として,システム内における非安全エージェントや機能を呼び出すために,敵対的コンテンツが制御と通信をハイジャックできることを実証した。 これにより、ユーザのデバイス上で任意の悪意のあるコードを実行し、/またはユーザのコンテナ化された環境から機密データを抽出する、完全なセキュリティ違反が発生します。 個別のエージェントが直接的または間接的なインジェクションに影響されない場合や、有害な行為を拒否しても、制御フローハイジャック攻撃が成功することを示す。

関連論文リスト

• Automating Prompt Leakage Attacks on Large Language Models Using Agentic Approach [9.483655213280738]
  本稿では,大規模言語モデル(LLM)の安全性を評価するための新しいアプローチを提案する。 我々は、プロンプトリークをLLMデプロイメントの安全性にとって重要な脅威と定義する。 我々は,協調エージェントが目的のLLMを探索・活用し,そのプロンプトを抽出するマルチエージェントシステムを実装した。
  論文  参考訳（メタデータ） (2025-02-18T08:17:32Z)
• The Task Shield: Enforcing Task Alignment to Defend Against Indirect Prompt Injection in LLM Agents [6.829628038851487]
  大きな言語モデル(LLM)エージェントは、ツール統合を通じて複雑な現実世界のタスクを実行できる対話アシスタントとして、ますます多くデプロイされている。 特に間接的なプロンプトインジェクション攻撃は、外部データソースに埋め込まれた悪意のある命令が、エージェントを操作してユーザの意図を逸脱させる、重大な脅威となる。 我々は,エージェントのセキュリティが有害な行為を防止し,タスクアライメントを確保するためには,すべてのエージェントアクションをユーザ目的に役立てる必要がある,という新たな視点を提案する。
  論文  参考訳（メタデータ） (2024-12-21T16:17:48Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems [6.480532634073257]
  本稿では、相互接続されたエージェント間で、悪意のある自己複製を促す新しい攻撃であるPrompt infectionを紹介する。 この攻撃は、データ盗難、詐欺、誤報、システム全体の破壊など、深刻な脅威を引き起こす。 そこで本研究では,既存の安全対策と組み合わせることで感染拡大を著しく軽減する防衛機構であるLSM Taggingを提案する。
  論文  参考訳（メタデータ） (2024-10-09T11:01:29Z)
• Toward Mixture-of-Experts Enabled Trustworthy Semantic Communication for 6G Networks [82.3753728955968]
  本稿では,新しいMixture-of-Experts(MoE)ベースのSemComシステムを提案する。 このシステムはゲーティングネットワークと複数の専門家で構成され、それぞれ異なるセキュリティ課題に特化している。 ゲーティングネットワークは、ユーザ定義のセキュリティ要件に基づいて、異種攻撃に対抗するための適切な専門家を適応的に選択する。 車両ネットワークにおけるケーススタディは、MoEベースのSemComシステムの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-24T03:17:51Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated Large Language Model Agents [3.5248694676821484]
  IPI攻撃に対するツール統合LDMエージェントの脆弱性を評価するためのベンチマークであるInjecAgentを紹介する。 InjecAgentは17の異なるユーザーツールと62の攻撃ツールをカバーする1,054のテストケースで構成されている。 エージェントはIPI攻撃に対して脆弱であり、ReAct-prompted GPT-4は24%の時間攻撃に対して脆弱である。
  論文  参考訳（メタデータ） (2024-03-05T06:21:45Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)
• Certifiably Robust Policy Learning against Adversarial Communication in Multi-agent Systems [51.6210785955659]
  多くのマルチエージェント強化学習(MARL)では,エージェントが情報を共有し,適切な判断を下す上でコミュニケーションが重要である。 しかし、ノイズや潜在的な攻撃者が存在する現実世界のアプリケーションに訓練された通信エージェントを配置すると、通信ベースのポリシーの安全性は過小評価されている深刻な問題となる。 本研究では,攻撃者が任意の$CfracN-12$エージェントから被害者エージェントへの通信を任意に変更できる,$N$エージェントを備えた環境を検討する。
  論文  参考訳（メタデータ） (2022-06-21T07:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。