論文の概要: X-MAS: Towards Building Multi-Agent Systems with Heterogeneous LLMs

• arxiv url: http://arxiv.org/abs/2505.16997v1
• Date: Thu, 22 May 2025 17:56:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.543633
• Title: X-MAS: Towards Building Multi-Agent Systems with Heterogeneous LLMs
• Title（参考訳）: X-MAS:異種LLMを用いたマルチエージェントシステムの構築に向けて
• Authors: Rui Ye, Xiangrui Liu, Qimin Wu, Xianghe Pang, Zhenfei Yin, Lei Bai, Siheng Chen,
• Abstract要約: 異種LLM駆動型マルチエージェントシステム(MAS)のパラダイムについて検討する。 X-MAS-Benchは、異なるドメインにわたる様々なLLMの性能とMAS関連の機能を評価するために設計された総合的なテストベッドである。 均質なMASから異質なMASへの移行は構造的再設計を必要とせずにシステム性能を大幅に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 38.8226073406788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-based multi-agent systems (MAS) extend the capabilities of single LLMs by enabling cooperation among multiple specialized agents. However, most existing MAS frameworks rely on a single LLM to drive all agents, constraining the system's intelligence to the limit of that model. This paper explores the paradigm of heterogeneous LLM-driven MAS (X-MAS), where agents are powered by diverse LLMs, elevating the system's potential to the collective intelligence of diverse LLMs. We introduce X-MAS-Bench, a comprehensive testbed designed to evaluate the performance of various LLMs across different domains and MAS-related functions. As an extensive empirical study, we assess 27 LLMs across 5 domains (encompassing 21 test sets) and 5 functions, conducting over 1.7 million evaluations to identify optimal model selections for each domain-function combination. Building on these findings, we demonstrate that transitioning from homogeneous to heterogeneous LLM-driven MAS can significantly enhance system performance without requiring structural redesign. Specifically, in a chatbot-only MAS scenario, the heterogeneous configuration yields up to 8.4\% performance improvement on the MATH dataset. In a mixed chatbot-reasoner scenario, the heterogeneous MAS could achieve a remarkable 47\% performance boost on the AIME dataset. Our results underscore the transformative potential of heterogeneous LLMs in MAS, highlighting a promising avenue for advancing scalable, collaborative AI systems.
• Abstract（参考訳）: LLMベースのマルチエージェントシステム(MAS)は、複数の特殊エージェント間の協調を可能にすることにより、単一のLLMの機能を拡張する。 しかしながら、既存のMASフレームワークのほとんどは、すべてのエージェントを駆動するために単一のLLMに依存しており、システムのインテリジェンスをそのモデルの限界に制限している。 本稿では,多種多様LLMをエージェントとする異種MAS(X-MAS)のパラダイムを考察し,多種多様LLMの集合知能に対するシステムの可能性を高める。 X-MAS-Benchは、異なるドメインにわたる様々なLLMの性能とMAS関連の機能を評価するために設計された総合的なテストベッドである。 本研究では,5つのドメイン(21個のテストセットを包含する)と5つの関数にまたがる27個のLLMを評価し,各ドメインと関数の組み合わせに対して最適なモデル選択を特定するための170万以上の評価を行った。 これらの結果に基づき, 構造的再設計を必要とせず, 均一性から不均一性への移行がシステム性能を著しく向上させることを示した。 具体的には、チャットボットのみのMASシナリオでは、異種構成により、MATHデータセットのパフォーマンスが最大8.4\%向上する。 混在したチャットボット・レソナーのシナリオでは、異種MASはAIMEデータセットで47倍のパフォーマンス向上を達成できる。 我々の結果は、MASにおける異種LLMの変革の可能性を強調し、スケーラブルで協調的なAIシステムを構築するための有望な道のりを浮き彫りにしている。

関連論文リスト

• MAS-GPT: Training LLMs to Build LLM-based Multi-Agent Systems [43.41902313944615]
  我々は、MASを生成言語タスクとして再定義することで、MASを構築するプロセスを簡単にする。 一貫性のあるクエリ-MASペアからなる高品質なデータセットを作成する。 生成されたMASは、ユーザクエリをシームレスに処理し、高品質なレスポンスを提供する。
  論文  参考訳（メタデータ） (2025-03-05T17:27:59Z)
• LLM-Powered Preference Elicitation in Combinatorial Assignment [17.367432304040662]
  提案手法は,大規模言語モデル(LLM)を人為的プロキシとして活用し,課題における選好選択(PE)を簡素化するものである。 本稿では,SOTA ML を用いた嗜好推論方式と併用して動作する LLM プロキシのフレームワークを提案する。 コース割当て領域における人間の問合せに対するLLMプロキシの有効性を実験的に評価した。
  論文  参考訳（メタデータ） (2025-02-14T17:12:20Z)
• Heterogeneous Swarms: Jointly Optimizing Model Roles and Weights for Multi-LLM Systems [102.36545569092777]
  モデルの役割と重みを協調的に最適化し,マルチLLMシステムを設計するアルゴリズムであるヘテロジニアス・スウォームを提案する。 実験により、異種群は12タスクの平均18.5%で15のロールベースおよび/またはウェイトベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2025-02-06T21:27:11Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [66.9481561915524]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがる顕著な性能のために広く採用されている。 これらの個々のLCMは、固有のトレーニングバイアス、モデルサイズ制約、トレーニング前のデータセットの品質や多様性による、複雑なタスクの一般化とパフォーマンスの制限を示す。 本稿では,入力クエリをLLMの最も適切なサブセットに効率的に誘導するSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• Self-MoE: Towards Compositional Large Language Models with Self-Specialized Experts [49.950419707905944]
  本稿では,モノリシックLLMを,自己専門化の専門家による構成的,モジュール的なシステムに変換するアプローチであるSelf-MoEを紹介する。 提案手法は, 自己生成合成データを用いて, 専門家モジュールを構成する自己特殊化を利用する。 本研究は, モジュール性の重要性, マルチベースLCMへの適用性, 効率的でスケーラブルで適応可能なシステムの実現における自己改善の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2024-06-17T19:06:54Z)
• Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
  大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。 本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:52:22Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。