論文の概要: On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents

• arxiv url: http://arxiv.org/abs/2408.00989v3
• Date: Tue, 28 Jan 2025 07:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:39:08.500397
• Title: On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents
• Title（参考訳）: 故障剤を用いたLLM多エージェント協調のレジリエンスについて
• Authors: Jen-tse Huang, Jiaxu Zhou, Tailin Jin, Xuhui Zhou, Zixi Chen, Wenxuan Wang, Youliang Yuan, Michael R. Lyu, Maarten Sap,
• Abstract要約: 大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 しかし、不器用なエージェントや悪意のあるエージェントがシステム全体のパフォーマンスに与える影響は、まだ解明されていない。 本稿では, 種々のシステム構造の耐震性について考察する。
• 参考スコア（独自算出の注目度）: 58.79302663733703
• License:
• Abstract: Large language model-based multi-agent systems have shown great abilities across various tasks due to the collaboration of expert agents, each focusing on a specific domain. However, the impact of clumsy or even malicious agents, i.e., those who frequently make errors in their tasks, on the overall performance of the system remains underexplored. This paper investigates: (1) What is the resilience of various system structures (e.g., A$\rightarrow$B$\rightarrow$C, A$\leftrightarrow$B$\leftrightarrow$C) under faulty agents, on different downstream tasks? (2) How can we increase system resilience to defend against these agents? To simulate faulty agents, we propose two approaches, AutoTransform and AutoInject, which introduce mistakes into the agents' responses. We select four downstream tasks, including code generation, math problems, translation, and text evaluation. Results suggest that the hierarchical structure, i.e., A$\rightarrow$(B$\leftrightarrow$C), exhibits superior resilience with the lowest performance drop of $9.2\%$, compared to $26.0\%$ and $31.2\%$ of other two structures. Additionally, we improve the system resilience with two methods, introducing a mechanism for each agent to challenge others' outputs, and an additional agent to review and correct messages. Our code and data are available at https://github.com/CUHK-ARISE/MAS-Resilience.
• Abstract（参考訳）: 大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、さまざまなタスクにまたがる優れた能力を示し、それぞれが特定のドメインに焦点を当てている。 しかし、不器用なエージェントや悪意のあるエージェント、すなわち、頻繁にタスクでエラーを犯すエージェントがシステム全体のパフォーマンスに与える影響は、まだ解明されていないままである。 本論文は,(1)下流タスクにおける種々のシステム構造(例えば, A$\rightarrow$B$\rightarrow$C, A$\leftrightarrow$B$\leftrightarrow$C)の弾力性について考察する。 2)これらのエージェントを防御するためにシステムレジリエンスを高めるにはどうすればいいのか? 故障エージェントをシミュレートするために,オートトランスフォームとオートインジェクションという2つの手法を提案する。 コード生成、数学問題、翻訳、テキスト評価を含む4つの下流タスクを選択します。 その結果、階層構造、すなわちA$\rightarrow$(B$\leftrightarrow$C)は、他の2つの構造のうち26.0\%$と31.2\%$に対して、9.2\%$の低い性能低下で優れたレジリエンスを示すことが示唆された。 さらに、システムのレジリエンスを2つの手法で改善し、各エージェントが他のエージェントの出力に挑戦するためのメカニズムを導入し、メッセージのレビューと修正のための追加エージェントを追加します。 私たちのコードとデータはhttps://github.com/CUHK-ARISE/MAS-Resilience.comで公開されています。

関連論文リスト

• Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
  共有タスクを解決するために専門エージェントが協力するマルチエージェントシステムは大きな可能性を秘めている。 1つのエージェントがシステム全体を失敗させる可能性がある。 本稿では、アクション予測中に$textitmonitor$ agent と $textitintervene$ を、将来のエラーが発生する可能性があるときに提案する。
  論文  参考訳（メタデータ） (2025-02-09T18:35:08Z)
• Cut the Crap: An Economical Communication Pipeline for LLM-based Multi-Agent Systems [42.137278756052595]
  $texttAgentPrune$は、メインストリームのマルチエージェントシステムにシームレスに統合できる。 textbf(I)は、既存のマルチエージェントフレームワークとシームレスに統合され、28.1%sim72.8%downarrow$トークンの削減を行う。 textbf(III)は2種類のエージェントベースの敵攻撃に対して3.5%sim10.8%uparrow$パフォーマンス向上で防御に成功した。
  論文  参考訳（メタデータ） (2024-10-03T14:14:31Z)
• Textualized Agent-Style Reasoning for Complex Tasks by Multiple Round LLM Generation [49.27250832754313]
  我々は、llmベースの自律エージェントフレームワークであるAgentCOTを紹介する。 それぞれのステップで、AgentCOTはアクションを選択し、それを実行して、証拠を裏付ける中間結果を得る。 エージェントCOTの性能を高めるための2つの新しい戦略を導入する。
  論文  参考訳（メタデータ） (2024-09-19T02:20:06Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• A Unified Debugging Approach via LLM-Based Multi-Agent Synergy [39.11825182386288]
  FixAgentはマルチエージェントのシナジーによる統合デバッグのためのエンドツーエンドフレームワークである。 1.25$times$ 2.56$times$レポレベルのベンチマークであるDefects4Jのバグを修正した。
  論文  参考訳（メタデータ） (2024-04-26T04:55:35Z)
• Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
  オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。 本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。 本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
  論文  参考訳（メタデータ） (2024-03-19T16:26:10Z)
• Agents meet OKR: An Object and Key Results Driven Agent System with Hierarchical Self-Collaboration and Self-Evaluation [25.308341461293857]
  OKR-Agentは、タスク解決におけるLarge Language Models(LLM)の機能を強化するように設計されている。 我々のフレームワークには、階層オブジェクトとキー結果の生成とマルチレベル評価という、2つの新しいモジュールが含まれています。
  論文  参考訳（メタデータ） (2023-11-28T06:16:30Z)
• A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration [55.35849138235116]
  本稿では,様々なタスクやドメインに対する動的コミュニケーション構造において,候補からエージェントのチームを自動的に選択する手法を提案する。 具体的には, LLMを利用したエージェント協調のための動的LLMパワーエージェントネットワーク(textDyLAN$)というフレームワークを構築した。 我々は、コード生成、意思決定、一般的な推論、算術的推論タスクにおいて、適度な計算コストで、DyLANが強力なベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2023-10-03T16:05:48Z)
• Retrieval-Augmented Reinforcement Learning [63.32076191982944]
  過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。 検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。 検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
  論文  参考訳（メタデータ） (2022-02-17T02:44:05Z)
• Regret Bounds for Decentralized Learning in Cooperative Multi-Agent Dynamical Systems [3.9599054392856488]
  マルチエージェント強化学習(MARL)における二次解析の課題 補助単エージェントLQ問題の構成に基づくMARLアルゴリズムを提案する。 我々のアルゴリズムは $tildeO(sqrtT)$ regret bound を提供する。
  論文  参考訳（メタデータ） (2020-01-27T23:37:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。