論文の概要: MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents

• arxiv url: http://arxiv.org/abs/2503.01935v1
• Date: Mon, 03 Mar 2025 05:18:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:27:08.525654
• Title: MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents
• Title（参考訳）: MultiAgentBench: LLMエージェントの協調と競合性の評価
• Authors: Kunlun Zhu, Hongyi Du, Zhaochen Hong, Xiaocheng Yang, Shuyi Guo, Zhe Wang, Zhenhailong Wang, Cheng Qian, Xiangru Tang, Heng Ji, Jiaxuan You,
• Abstract要約: 大規模言語モデル(LLM)は、自律的なエージェントとして顕著な能力を示している。 既存のベンチマークでは、単一エージェントタスクにフォーカスするか、狭いドメインに限定されており、マルチエージェントのコーディネーションと競合のダイナミクスを捉えていない。 多様な対話シナリオにまたがってLLMベースのマルチエージェントシステムを評価するためのベンチマークであるMultiAgentBenchを紹介する。
• 参考スコア（独自算出の注目度）: 59.825725526176655
• License:
• Abstract: Large Language Models (LLMs) have shown remarkable capabilities as autonomous agents, yet existing benchmarks either focus on single-agent tasks or are confined to narrow domains, failing to capture the dynamics of multi-agent coordination and competition. In this paper, we introduce MultiAgentBench, a comprehensive benchmark designed to evaluate LLM-based multi-agent systems across diverse, interactive scenarios. Our framework measures not only task completion but also the quality of collaboration and competition using novel, milestone-based key performance indicators. Moreover, we evaluate various coordination protocols (including star, chain, tree, and graph topologies) and innovative strategies such as group discussion and cognitive planning. Notably, gpt-4o-mini reaches the average highest task score, graph structure performs the best among coordination protocols in the research scenario, and cognitive planning improves milestone achievement rates by 3%. Code and datasets are public available at https://github.com/MultiagentBench/MARBLE.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自律的なエージェントとして顕著な能力を示しているが、既存のベンチマークでは、単一エージェントタスクにフォーカスするか、狭いドメインに限定されており、マルチエージェントのコーディネーションと競合のダイナミクスを捉えていない。 本稿では,多種多様な対話シナリオを対象としたLLMに基づくマルチエージェントシステム評価のための総合ベンチマークであるMultiAgentBenchを紹介する。 我々のフレームワークは、タスク完了だけでなく、新しいマイルストーンベースの重要なパフォーマンス指標を用いたコラボレーションと競争の質も測定します。 さらに、星、チェーン、ツリー、グラフトポロジーを含む様々な調整プロトコルと、グループディスカッションや認知計画のような革新的な戦略を評価した。 特に、gpt-4o-miniは平均的なタスクスコアに達し、グラフ構造は研究シナリオにおけるコーディネーションプロトコルの中で最高に機能し、認知的計画はマイルストーン達成率を3%向上させる。 コードとデータセットはhttps://github.com/MultiagentBench/MARBLEで公開されている。

関連論文リスト

• LLM-Powered Decentralized Generative Agents with Adaptive Hierarchical Knowledge Graph for Cooperative Planning [12.996741471128539]
  動的オープンワールドシナリオにおける長期協力のためのインテリジェントエージェントの開発は、マルチエージェントシステムにおける大きな課題である。 本稿では,分散適応型知識グラフメモリと構造化通信システム(DAMCS)を,新しいマルチエージェントクラフト環境において提案する。 我々の生成エージェントはLLM(Large Language Models)を利用しており、長期計画と推論のために外部知識と言語を活用することで従来のMARLエージェントよりもスケーラブルである。
  論文  参考訳（メタデータ） (2025-02-08T05:26:02Z)
• Towards Effective GenAI Multi-Agent Collaboration: Design and Evaluation for Enterprise Applications [15.480315462362531]
  本稿では,新しいマルチエージェント協調フレームワークにおける協調とルーティング機能に関する総合的な評価について述べる。 コーディネート機能として,エージェント間通信とペイロード参照機構の有効性を実証し,エンドツーエンドの目標達成率を90%とする。 マルチエージェントコラボレーションは,ベンチマークの単一エージェントアプローチと比較して,目標達成率を最大70%向上させる。
  論文  参考訳（メタデータ） (2024-12-06T22:14:17Z)
• COMMA: A Communicative Multimodal Multi-Agent Benchmark [7.831385481814481]
  本稿では,言語コミュニケーションによるマルチモーダルマルチエージェントシステムの協調性能を評価するための新しいベンチマークを提案する。 GPT-4oのようなプロプライエタリなモデルを含む最先端モデルの驚くべき弱点が明らかになった。
  論文  参考訳（メタデータ） (2024-10-10T02:49:47Z)
• BattleAgentBench: A Benchmark for Evaluating Cooperation and Competition Capabilities of Language Models in Multi-Agent Systems [15.159418172629701]
  大規模言語モデル(LLM)はますます強力になり、複雑なタスクを処理できるようになる。 シングルエージェントと比較して、マルチエージェントシステムは言語モデルの協調機能により高い要求がある。 我々は,3つの難易度の7つのサブステージを定義したBattleAgentBenchというベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-08-28T17:43:55Z)
• Efficient Adaptation in Mixed-Motive Environments via Hierarchical Opponent Modeling and Planning [51.52387511006586]
  本稿では,HOP(Hierarchical Opponent Modeling and Planning)を提案する。 HOPは階層的に2つのモジュールから構成される: 相手の目標を推論し、対応する目標条件のポリシーを学ぶ、反対モデリングモジュール。 HOPは、さまざまな未確認エージェントと相互作用する際、優れた少数ショット適応能力を示し、セルフプレイのシナリオで優れている。
  論文  参考訳（メタデータ） (2024-06-12T08:48:06Z)
• Scaling Large-Language-Model-based Multi-Agent Collaboration [72.8998796426346]
  近年の大規模言語モデル駆動型自律エージェントのブレークスルーにより、複数エージェントのコラボレーションが集団的推論を通じて各個人を上回ることが判明している。 本研究は、協調剤の連続的な添加が同様の利益をもたらすかどうかを考察する。
  論文  参考訳（メタデータ） (2024-06-11T11:02:04Z)
• MASP: Scalable GNN-based Planning for Multi-Agent Navigation [18.70078556851899]
  Multi-Agent Scalable Graph-based Planner (MASP)は、ナビゲーションタスクのためのゴール条件付き階層型プランナーである。 MASPは、大規模な探索空間を複数の目標条件付き部分空間に分解することで、空間の複雑さを低減するために階層的なフレームワークを採用している。 エージェントの協力とさまざまなチームサイズへの適応のために、エージェントと目標をグラフとしてモデル化し、それらの関係をよりよく捉えます。
  論文  参考訳（メタデータ） (2023-12-05T06:05:04Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
  大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。 アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。 この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• Multi-agent Deep Covering Skill Discovery [50.812414209206054]
  本稿では,複数エージェントの結合状態空間の予測被覆時間を最小化し,マルチエージェントオプションを構築するマルチエージェントDeep Covering Option Discoveryを提案する。 また、MARLプロセスにマルチエージェントオプションを採用するための新しいフレームワークを提案する。 提案アルゴリズムは,アテンション機構とエージェントの相互作用を効果的に把握し,マルチエージェントオプションの同定に成功した。
  論文  参考訳（メタデータ） (2022-10-07T00:40:59Z)
• Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL [107.58821842920393]
  我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。 分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-06-01T04:58:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。