論文の概要: We Should Identify and Mitigate Third-Party Safety Risks in MCP-Powered Agent Systems

• arxiv url: http://arxiv.org/abs/2506.13666v1
• Date: Mon, 16 Jun 2025 16:24:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.988551
• Title: We Should Identify and Mitigate Third-Party Safety Risks in MCP-Powered Agent Systems
• Title（参考訳）: MCPによるエージェントシステムにおける第三者安全リスクの特定と緩和
• Authors: Junfeng Fang, Zijun Yao, Ruipeng Wang, Haokai Ma, Xiang Wang, Tat-Seng Chua,
• Abstract要約: MCPが導入した新たな安全リスク問題に細心の注意を払うため, LLMの安全に関する研究コミュニティを提唱する。 MCPによるエージェントシステムの安全性のリスクは本当の脅威であり、その防御は自明なものではないことを実証するために、一連の実験を行った。
• 参考スコア（独自算出の注目度）: 48.345884334050965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The development of large language models (LLMs) has entered in a experience-driven era, flagged by the emergence of environment feedback-driven learning via reinforcement learning and tool-using agents. This encourages the emergenece of model context protocol (MCP), which defines the standard on how should a LLM interact with external services, such as \api and data. However, as MCP becomes the de facto standard for LLM agent systems, it also introduces new safety risks. In particular, MCP introduces third-party services, which are not controlled by the LLM developers, into the agent systems. These third-party MCP services provider are potentially malicious and have the economic incentives to exploit vulnerabilities and sabotage user-agent interactions. In this position paper, we advocate the research community in LLM safety to pay close attention to the new safety risks issues introduced by MCP, and develop new techniques to build safe MCP-powered agent systems. To establish our position, we argue with three key parts. (1) We first construct \framework, a controlled framework to examine safety issues in MCP-powered agent systems. (2) We then conduct a series of pilot experiments to demonstrate the safety risks in MCP-powered agent systems is a real threat and its defense is not trivial. (3) Finally, we give our outlook by showing a roadmap to build safe MCP-powered agent systems. In particular, we would call for researchers to persue the following research directions: red teaming, MCP safe LLM development, MCP safety evaluation, MCP safety data accumulation, MCP service safeguard, and MCP safe ecosystem construction. We hope this position paper can raise the awareness of the research community in MCP safety and encourage more researchers to join this important research direction. Our code is available at https://github.com/littlelittlenine/SafeMCP.git.
• Abstract（参考訳）: 大規模言語モデル (LLMs) の開発は, 環境フィードバックによる学習が, 強化学習やツール利用エージェントを通じて出現し, 経験駆動時代に入った。 これは、モデルコンテキストプロトコル(MCP)の緊急性を促進する。これは、LLMが \api やデータのような外部サービスとどのようにやりとりすべきかを定義する標準である。 しかし、MPPがLLMエージェントシステムの事実上の標準となると、新たな安全リスクももたらされる。 特に、MPPは、LLM開発者によって制御されていないサードパーティのサービスをエージェントシステムに導入している。 これらのサードパーティのMSPサービスプロバイダは、潜在的に悪意があり、脆弱性を悪用し、ユーザエージェントのインタラクションを妨害する経済的インセンティブを持っている。 本稿では, LLM の安全に関する研究コミュニティにおいて, MCP が導入した新たな安全リスク問題に細心の注意を払って, 安全な MCP エージェントシステムを構築するための新しい技術開発を提唱する。 立場を確立するために、我々は3つの重要な部分で議論する。 1) MCPによるエージェントシステムにおける安全性問題を調べるための制御フレームワークである「フレームワーク」を最初に構築する。 2) MCPによるエージェントシステムの安全性は脅威であり, 防御は容易ではないことを実証するために, 一連の実験を行った。 (3)最後に,安全なMPPエージェントシステムを構築するためのロードマップを示すことで,今後の展望を述べる。 特に, レッドチーム, MCP 安全な LLM 開発, MCP 安全性評価, MCP 安全性データ蓄積, MCP サービスセーフガード, MCP 安全な生態系構築といった研究の方向性を, 研究者に訴える。 このポジションペーパーは、MCPの安全性における研究コミュニティの意識を高め、さらに多くの研究者がこの重要な研究の方向性に加わることを奨励するものであることを願っている。 私たちのコードはhttps://github.com/littlelittlenine/SafeMCP.gitで利用可能です。

関連論文リスト

• LLM Agents Should Employ Security Principles [60.03651084139836]
  本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。 AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T21:39:08Z)
• MCIP: Protecting MCP Safety via Model Contextual Integrity Protocol [40.43415601554268]
  本稿では,モデルコンテキストプロトコルの安全性を高めるための新しいフレームワークを提案する。 MAESTRO フレームワークをベースとして,まず MCP に欠落する安全機構を解析する。 次に、MPPシナリオで観察されるさまざまな安全でない振る舞いをキャプチャする、きめ細かい分類法を開発する。
  論文  参考訳（メタデータ） (2025-05-20T16:41:45Z)
• MCP Safety Audit: LLMs with the Model Context Protocol Allow Major Security Exploits [0.0]
  Model Context Protocol (MCP) は、大規模言語モデル(LLM)、データソース、エージェントツールへのAPI呼び出しを標準化するオープンプロトコルである。 現在のMPP設計はエンドユーザーに幅広いセキュリティリスクをもたらすことを示す。 任意のMPPサーバのセキュリティを評価するために,安全監査ツールであるMPPSafetyScannerを導入する。
  論文  参考訳（メタデータ） (2025-04-02T21:46:02Z)
• TrustAgent: Towards Safe and Trustworthy LLM-based Agents [50.33549510615024]
  本稿では,エージェント・コンスティチューションをベースとしたエージェント・フレームワークであるTrustAgentについて述べる。 提案枠組みは,計画立案前のモデルに安全知識を注入する事前計画戦略,計画立案時の安全性を高める内計画戦略,計画後検査による安全性を確保する後計画戦略の3つの戦略要素を通じて,エージェント憲法の厳格な遵守を保証する。
  論文  参考訳（メタデータ） (2024-02-02T17:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。