論文の概要: Seven Security Challenges That Must be Solved in Cross-domain Multi-agent LLM Systems

• arxiv url: http://arxiv.org/abs/2505.23847v3
• Date: Tue, 15 Jul 2025 16:18:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 15:29:04.668158
• Title: Seven Security Challenges That Must be Solved in Cross-domain Multi-agent LLM Systems
• Title（参考訳）: クロスドメインマルチエージェントLLMシステムで解決すべき7つのセキュリティ課題
• Authors: Ronny Ko, Jiseong Jeong, Shuyuan Zheng, Chuan Xiao, Tae-Wan Kim, Makoto Onizuka, Won-Yong Shin,
• Abstract要約: 大規模言語モデル(LLM)は、組織の境界を越えて協調する自律エージェントへと急速に進化している。 本稿では、クロスドメインマルチエージェントLLMシステムのセキュリティアジェンダをマッピングする。
• 参考スコア（独自算出の注目度）: 16.838103835766066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are rapidly evolving into autonomous agents that cooperate across organizational boundaries, enabling joint disaster response, supply-chain optimization, and other tasks that demand decentralized expertise without surrendering data ownership. Yet, cross-domain collaboration shatters the unified trust assumptions behind current alignment and containment techniques. An agent benign in isolation may, when receiving messages from an untrusted peer, leak secrets or violate policy, producing risks driven by emergent multi-agent dynamics rather than classical software bugs. This position paper maps the security agenda for cross-domain multi-agent LLM systems. We introduce seven categories of novel security challenges, for each of which we also present plausible attacks, security evaluation metrics, and future research guidelines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、組織の境界を越えて協力する自律エージェントへと急速に進化し、データの所有権を放棄することなく、共同災害対応、サプライチェーン最適化、その他の分散型専門知識を必要とするタスクを可能にしている。 しかし、ドメイン間のコラボレーションは、現在のアライメントと封じ込め技術の背後にある統一された信頼の前提を揺るがします。 独立したエージェントは、信頼できない仲間からメッセージを受け取ると、秘密を漏らしたりポリシーに違反したりし、古典的なソフトウェアバグではなく、創発的なマルチエージェントダイナミクスによって引き起こされるリスクを生じさせる。 本稿では、クロスドメインマルチエージェントLLMシステムのセキュリティアジェンダをマッピングする。 新たなセキュリティ課題の7つのカテゴリを紹介し,そのそれぞれに対して,有効な攻撃,セキュリティ評価指標,今後の研究ガイドラインを提示する。

関連論文リスト

• BlockA2A: Towards Secure and Verifiable Agent-to-Agent Interoperability [5.483452240835409]
  BlockA2Aはエージェントとエージェントの相互運用性のための統合されたマルチエージェント信頼フレームワークである。 集中的な信頼ボトルネックを排除し、メッセージの信頼性と実行の整合性を確保し、エージェント間のインタラクションにおける説明責任を保証する。 ビザンチンエージェントのフラグング、リアクティブ実行停止、即時許可取り消しなど、リアルタイムメカニズムによる攻撃を中和する。
  論文  参考訳（メタデータ） (2025-08-02T11:59:21Z)
• Towards Unifying Quantitative Security Benchmarking for Multi Agent Systems [0.0]
  AIシステムの進化 自律エージェントが協力し、情報を共有し、プロトコルを開発することでタスクを委譲するマルチエージェントアーキテクチャをますます展開する。 そのようなリスクの1つはカスケードリスクである。あるエージェントの侵入はシステムを通してカスケードし、エージェント間の信頼を利用して他人を妥協させる。 ACI攻撃では、あるエージェントに悪意のあるインプットまたはツールエクスプロイトが注入され、そのアウトプットを信頼するエージェント間でカスケードの妥協とダウンストリーム効果が増幅される。
  論文  参考訳（メタデータ） (2025-07-23T13:51:28Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
  本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。 行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。 また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
  論文  参考訳（メタデータ） (2025-07-01T15:10:00Z)
• Kaleidoscopic Teaming in Multi Agent Simulations [75.47388708240042]
  我々は,エージェントが行う複雑な行動,思考プロセス,行動の安全性リスクを評価する上で,既存のレッドチームや安全評価フレームワークは不十分であると主張している。 我々は,新しいコンテキスト内最適化手法を導入し,安全解析のためのより良いシナリオを生成する。 エージェントの安全性を測定するためのフレームワークとともに使用できる適切なメトリクスを提案する。
  論文  参考訳（メタデータ） (2025-06-20T23:37:17Z)
• LLM Agents Should Employ Security Principles [60.03651084139836]
  本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。 AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T21:39:08Z)
• CoTGuard: Using Chain-of-Thought Triggering for Copyright Protection in Multi-Agent LLM Systems [55.57181090183713]
  我々は、Chain-of-Thought推論内でトリガーベースの検出を活用する著作権保護のための新しいフレームワークであるCoTGuardを紹介する。 具体的には、特定のCoTセグメントをアクティベートし、特定のトリガクエリをエージェントプロンプトに埋め込むことで、未許可コンテンツ再生の中間的推論ステップを監視する。 このアプローチは、協調エージェントシナリオにおける著作権侵害の微細かつ解釈可能な検出を可能にする。
  論文  参考訳（メタデータ） (2025-05-26T01:42:37Z)
• AGENTFUZZER: Generic Black-Box Fuzzing for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジィングフレームワークであるAgentXploitを提案する。 我々は、AgentXploitをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• A Trustworthy Multi-LLM Network: Challenges,Solutions, and A Use Case [59.58213261128626]
  複数の大規模言語モデル(LLM)を信頼性のあるマルチLLMネットワーク(MultiLLMN)に接続するブロックチェーン対応協調フレームワークを提案する。 このアーキテクチャは、複雑なネットワーク最適化問題に対する最も信頼性が高く高品質な応答の協調評価と選択を可能にする。
  論文  参考訳（メタデータ） (2025-05-06T05:32:46Z)
• Open Challenges in Multi-Agent Security: Towards Secure Systems of Interacting AI Agents [0.0]
  分散AIエージェントはすぐにインターネットプラットフォーム間で対話し、従来のサイバーセキュリティやAI安全フレームワークを超えたセキュリティ上の課題を生み出す。 textbfmulti-agent Securityは、分散化されたAIエージェントのネットワークを、そのインタラクションを通じて出現または増幅する脅威に対して保護する、新たな分野である。
  論文  参考訳（メタデータ） (2025-05-04T12:03:29Z)
• Securing Agentic AI: A Comprehensive Threat Model and Mitigation Framework for Generative AI Agents [0.0]
  本稿では,GenAIエージェントに特化した包括的脅威モデルを提案する。 研究は、9つの主要な脅威を特定し、5つの主要なドメインにまたがってそれらを整理する。
  論文  参考訳（メタデータ） (2025-04-28T16:29:24Z)
• Les Dissonances: Cross-Tool Harvesting and Polluting in Multi-Tool Empowered LLM Agents [15.15485816037418]
  本稿では,マルチツール対応LLMエージェントにおけるタスク制御フローのシステマティックセキュリティ解析について述べる。 複数の攻撃ベクトルを含む新しい脅威であるクロスツールハーベスティングとポリッティング(XTHP)を同定する。 この脅威の影響を理解するために,我々は,XTHP攻撃を受けやすい現実世界のエージェントツールを自動的に検出する動的スキャンツールであるChordを開発した。
  論文  参考訳（メタデータ） (2025-04-04T01:41:06Z)
• Red-Teaming LLM Multi-Agent Systems via Communication Attacks [10.872328358364776]
  大規模言語モデルに基づくマルチエージェントシステム(LLM-MAS)は、メッセージベースのコミュニケーションを通じて高度なエージェント協調を可能にすることで、複雑な問題解決能力に革命をもたらした。 エージェント・イン・ザ・ミドル(AiTM, Agent-in-the-Middle)は、エージェント間メッセージのインターセプトと操作によってLLM-MASの基本的な通信機構を利用する新たな攻撃法である。
  論文  参考訳（メタデータ） (2025-02-20T18:55:39Z)
• Multi-Agent Risks from Advanced AI [90.74347101431474]
  先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。 エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。 各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
  論文  参考訳（メタデータ） (2025-02-19T23:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。