論文の概要: A Survey on Trustworthy LLM Agents: Threats and Countermeasures

• arxiv url: http://arxiv.org/abs/2503.09648v1
• Date: Wed, 12 Mar 2025 08:42:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:53:44.775198
• Title: A Survey on Trustworthy LLM Agents: Threats and Countermeasures
• Title（参考訳）: 信頼できるLDMエージェントに関する調査:脅威と対策
• Authors: Miao Yu, Fanci Meng, Xinyun Zhou, Shilong Wang, Junyuan Mao, Linsey Pang, Tianlong Chen, Kun Wang, Xinfeng Li, Yongfeng Zhang, Bo An, Qingsong Wen,
• Abstract要約: 大規模言語モデル(LLM)とマルチエージェントシステム(MAS)はLLMエコシステムの機能を大幅に拡張した。 本稿では,エージェントの信頼性に関する総合的研究であるTrustAgentフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 67.23228612512848
• License:
• Abstract: With the rapid evolution of Large Language Models (LLMs), LLM-based agents and Multi-agent Systems (MAS) have significantly expanded the capabilities of LLM ecosystems. This evolution stems from empowering LLMs with additional modules such as memory, tools, environment, and even other agents. However, this advancement has also introduced more complex issues of trustworthiness, which previous research focused solely on LLMs could not cover. In this survey, we propose the TrustAgent framework, a comprehensive study on the trustworthiness of agents, characterized by modular taxonomy, multi-dimensional connotations, and technical implementation. By thoroughly investigating and summarizing newly emerged attacks, defenses, and evaluation methods for agents and MAS, we extend the concept of Trustworthy LLM to the emerging paradigm of Trustworthy Agent. In TrustAgent, we begin by deconstructing and introducing various components of the Agent and MAS. Then, we categorize their trustworthiness into intrinsic (brain, memory, and tool) and extrinsic (user, agent, and environment) aspects. Subsequently, we delineate the multifaceted meanings of trustworthiness and elaborate on the implementation techniques of existing research related to these internal and external modules. Finally, we present our insights and outlook on this domain, aiming to provide guidance for future endeavors.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進化に伴い、LLMベースのエージェントとマルチエージェントシステム(Multi-agent Systems、MAS)はLLMエコシステムの機能を大幅に拡張した。 この進化は、メモリ、ツール、環境、さらには他のエージェントなどの追加モジュールでLLMを強化することに由来する。 しかし、この進歩は、LSMのみに焦点をあてた以前の研究ではカバーできなかった信頼性に関するより複雑な問題も導入した。 本稿では,モジュール型分類,多次元意味論,技術的実装を特徴とするエージェントの信頼性に関する総合的な研究であるTrustAgentフレームワークを提案する。 エージェントとMASの攻撃・防衛・評価手法を徹底的に調査・要約することにより、信頼に値するLLMの概念を、信頼に値するエージェントの新たなパラダイムへと拡張する。 TrustAgentでは、エージェントとMASのさまざまなコンポーネントを分解、導入することから始めます。 そして,その信頼性を内在性(脳,記憶,ツール)と外在性(ユーザ,エージェント,環境)に分類する。 次に, 信頼性の多面的意味を概説し, これらの内部モジュールおよび外部モジュールに関する既存研究の実装技術について詳述する。 最後に、私たちはこの領域についての洞察と展望を示し、今後の取り組みのガイダンスを提供することを目指しています。

関連論文リスト

• Navigating the Risks: A Survey of Security, Privacy, and Ethics Threats in LLM-Based Agents [67.07177243654485]
  この調査は、大規模言語モデルに基づくエージェントが直面するさまざまな脅威を収集、分析する。 LLMをベースとしたエージェントの6つの重要な特徴を概説する。 4つの代表エージェントをケーススタディとして選択し,実践的に直面する可能性のあるリスクを分析した。
  論文  参考訳（メタデータ） (2024-11-14T15:40:04Z)
• Large Model Based Agents: State-of-the-Art, Cooperation Paradigms, Security and Privacy, and Future Trends [64.57762280003618]
  近い将来、LM駆動の汎用AIエージェントが、生産タスクにおいて不可欠なツールとして機能することが予想される。 本稿では,将来のLMエージェントの自律的協調に関わるシナリオについて検討する。
  論文  参考訳（メタデータ） (2024-09-22T14:09:49Z)
• LLM-Agent-UMF: LLM-based Agent Unified Modeling Framework for Seamless Integration of Multi Active/Passive Core-Agents [0.0]
  LLM-Agent-UMF(LLM-Agent-UMF)に基づく新しいエージェント統一モデリングフレームワークを提案する。 我々のフレームワークはLLMエージェントの異なるコンポーネントを区別し、LLMとツールを新しい要素であるコアエージェントから分離する。 我々は,13の最先端エージェントに適用し,それらの機能との整合性を実証することによって,我々の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-09-17T17:54:17Z)
• Large Language Model-Based Agents for Software Engineering: A Survey [20.258244647363544]
  近年のLarge Language Models(LLM)の進歩は、AIエージェント、すなわちLLMベースのエージェントの新しいパラダイムを形成している。 我々は106の論文を収集し、それらを2つの視点、すなわちSEとエージェントの観点から分類する。 さらに、この重要な領域におけるオープンな課題と今後の方向性についても論じる。
  論文  参考訳（メタデータ） (2024-09-04T15:59:41Z)
• The Emerged Security and Privacy of LLM Agent: A Survey with Case Studies [43.65655064122938]
  大規模言語モデル(LLM)エージェントは複雑なタスクを実行するために進化してきた。 LLMエージェントの幅広い応用は、その商業的価値を示している。 しかし、セキュリティとプライバシの脆弱性も公開している。 この調査は、LLMエージェントが直面しているプライバシーとセキュリティの問題を包括的に概観することを目的としている。
  論文  参考訳（メタデータ） (2024-07-28T00:26:24Z)
• A Survey on the Memory Mechanism of Large Language Model based Agents [66.4963345269611]
  大規模言語モデル(LLM)に基づくエージェントは、最近、研究や産業コミュニティから多くの注目を集めている。 LLMベースのエージェントは、現実の問題を解決する基礎となる自己進化能力に特徴付けられる。 エージェント-環境相互作用をサポートする重要なコンポーネントは、エージェントのメモリである。
  論文  参考訳（メタデータ） (2024-04-21T01:49:46Z)
• TrustAgent: Towards Safe and Trustworthy LLM-based Agents [50.33549510615024]
  本稿では,エージェント・コンスティチューションをベースとしたエージェント・フレームワークであるTrustAgentについて述べる。 提案枠組みは,計画立案前のモデルに安全知識を注入する事前計画戦略,計画立案時の安全性を高める内計画戦略,計画後検査による安全性を確保する後計画戦略の3つの戦略要素を通じて,エージェント憲法の厳格な遵守を保証する。
  論文  参考訳（メタデータ） (2024-02-02T17:26:23Z)
• Exploring Large Language Model based Intelligent Agents: Definitions, Methods, and Prospects [32.91556128291915]
  本稿では, シングルエージェントおよびマルチエージェントシステムにおける知的エージェントの詳細な概要を提供するため, 現在の研究状況について調査する。 定義、研究フレームワーク、その構成、認知と計画方法、ツール利用、環境フィードバックに対する反応などの基礎的な構成要素を網羅する。 我々は、AIと自然言語処理の進化の展望を考慮し、LLMベースのエージェントの展望を思い浮かべて結論付ける。
  論文  参考訳（メタデータ） (2024-01-07T09:08:24Z)
• A Survey on Large Language Model based Autonomous Agents [105.2509166861984]
  大規模言語モデル(LLM)は、人間レベルの知性を達成する上で、顕著な可能性を示している。 本稿では,LLMに基づく自律エージェントの分野を総合的な観点から体系的に検討する。 本稿では、社会科学、自然科学、工学の分野におけるLLMベースの自律エージェントの多様な応用について概観する。
  論文  参考訳（メタデータ） (2023-08-22T13:30:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。