論文の概要: MasRouter: Learning to Route LLMs for Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2502.11133v1
- Date: Sun, 16 Feb 2025 14:00:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:08:42.289977
- Title: MasRouter: Learning to Route LLMs for Multi-Agent Systems
- Title（参考訳）: MasRouter:マルチエージェントシステムのためのLLM経路学習
- Authors: Yanwei Yue, Guibin Zhang, Boyang Liu, Guancheng Wan, Kun Wang, Dawei Cheng, Yiyan Qi,
- Abstract要約: LLM(Large Language Models)をベースとしたマルチエージェントシステムは,LLM機能の境界を推し進めることが実証されている。
現在のルーティング手法は、クエリ毎にLLM選択をカスタマイズすることで、単一エージェントシナリオのオーバーヘッドを効果的に削減する。
まず、MASのすべてのコンポーネントを統一的なルーティングフレームワークに統合するマルチエージェントルーティングシステム(MASR)の問題を紹介する。
Mas is a high-perform, achieve a $1.8%sim8.2%$ improve over the state-of-the-art method on MBPP; 2) Economical, reduce overhead to up 52.07%$ than S.
- 参考スコア（独自算出の注目度）: 14.029698552632107
- License:
- Abstract: Multi-agent systems (MAS) powered by Large Language Models (LLMs) have been demonstrated to push the boundaries of LLM capabilities, yet they often incur significant costs and face challenges in dynamic LLM selection. Current LLM routing methods effectively reduce overhead in single-agent scenarios by customizing LLM selection for each query, but they overlook the critical decisions regarding collaboration modes and agent roles in MAS. In response to this challenge, we first introduce the problem of Multi-Agent System Routing (MASR), which integrates all components of MAS into a unified routing framework. Toward this goal, we propose MasRouter, the first high-performing, cost-effective, and inductive MASR solution. MasRouter employs collaboration mode determination, role allocation, and LLM routing through a cascaded controller network, progressively constructing a MAS that balances effectiveness and efficiency. Extensive experiments demonstrate that MasRouter is (1) high-performing, achieving a $1.8\%\sim8.2\%$ improvement over the state-of-the-art method on MBPP; (2) economical, reducing overhead by up to $52.07\%$ compared to SOTA methods on HumanEval; and (3) plug-and-play, seamlessly integrating with mainstream MAS frameworks, reducing overhead by $17.21\%\sim28.17\%$ via customized routing. The code is available at https://github.com/yanweiyue/masrouter.
- Abstract（参考訳）: LLM(Large Language Models)を利用したマルチエージェントシステム(MAS)は、LLMの能力の境界を推し進めることが実証されている。
現在の LLM ルーティング手法は,クエリ毎に LLM の選択をカスタマイズすることで,単一エージェントシナリオのオーバーヘッドを効果的に低減するが,MAS における協調モードやエージェントの役割に関する決定は無視される。
この課題に対応するために、まず、MASのすべてのコンポーネントを統一的なルーティングフレームワークに統合するマルチエージェントシステムルーティング(MASR)の問題を紹介する。
この目標を達成するために,我々はMasRouterを提案している。
MasRouterは、協調モードの決定、ロール割り当て、LLMルーティングをカスケードコントローラネットワークに導入し、効率と効率のバランスをとるMASを段階的に構築する。
大規模な実験により、MasRouterは(1)ハイパフォーマンスであり、MBPPの最先端メソッドよりも1.8.%\sim8.2\%$改善されていること、(2)経済的に、HumanEvalのSOTAメソッドと比較して最大52.07\%のオーバーヘッドを削減していること、(3)プラグ&プレイで、メインストリームのMASフレームワークとシームレスに統合できること、そして、オーバヘッドを17.21\%\sim28.17\%のコストで削減できることが示されている。
コードはhttps://github.com/yanweiyue/masrouter.comで入手できる。
関連論文リスト
- $γ-$MoD: Exploring Mixture-of-Depth Adaptation for Multimodal Large Language Models [87.43596173378913]
我々は既存のMLLMに対して$gamma$-MoDという革新的な戦略を提案する。
$gamma$-MoD では、MLLM における MoD の展開を導くための新しい計量法が提案されている。
MLLMの計算空間を最大化する2つの新しい設計法を提案する。
論文 参考訳（メタデータ） (2024-10-17T17:59:53Z) - SLIM: Let LLM Learn More and Forget Less with Soft LoRA and Identity Mixture [7.543093479330315]
下流タスクのためのモデル全体のトレーニングは費用がかかるため、破滅的な忘れ忘れをしがちです。
我々は,Soft LoRA と Identity Mixture (SLIM) をベースとした,新たな専門家(MoE) フレームワークを提案する。
SLIMはLoRAアダプタとスキップ接続間の動的ルーティングを可能にし、忘れの抑制を可能にする。
論文 参考訳（メタデータ） (2024-10-10T09:16:05Z) - GraphRouter: A Graph-based Router for LLM Selections [13.463815950807874]
Graphは、大規模言語モデルの文脈的および適応的な選択のためのグラフベースのアプローチである。
Graphは既存のルータを大幅に上回り、12.3%の最小パフォーマンス向上を実現している。
この研究は、LLMの文脈的および適応的な選択のためのグラフベースのアプローチを実現し、現実世界のアプリケーションに対する洞察を提供する。
論文 参考訳（メタデータ） (2024-10-04T18:02:48Z) - RouterDC: Query-Based Router by Dual Contrastive Learning for Assembling Large Language Models [24.113223576205932]
この結果から,Dual Contrastive Learning (DC) による問合せベースのルータが大規模言語モデル (LLM) の組み立てに有効であることを示す。
DC は LLM を組み立てるのに有効であり、個々のトップパフォーマンスの LLM と、分布内および分布外の両方のタスクにおける既存のルーティング方法に大きく勝る。
論文 参考訳（メタデータ） (2024-09-30T02:31:40Z) - TensorOpera Router: A Multi-Model Router for Efficient LLM Inference [27.2803289964386]
TO-lemmaはモノリシックなLLMクエリシステムである。
様々なLLM専門家をシームレスに単一のクエリインターフェースに統合する。
クエリの要求に基づいて、入力クエリを最も高性能な専門家に動的にルーティングする。
論文 参考訳（メタデータ） (2024-08-22T11:57:07Z) - RouterBench: A Benchmark for Multi-LLM Routing System [25.515453832224804]
パフォーマンスとコストのバランスをとる場合、すべてのタスクやアプリケーションに最適に対処できるモデルは存在しない。
この制限により、個々のLSMの制約を克服するために、様々なモデルの強みを組み合わせたLSMルーティングシステムの開発に繋がった。
本稿では LLM ルーティングシステムの有効性を体系的に評価する新しい評価フレームワークである RouterBench を提案する。
論文 参考訳（メタデータ） (2024-03-18T17:59:04Z) - ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。
我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。
実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-02-29T18:45:56Z) - Routing to the Expert: Efficient Reward-guided Ensemble of Large
Language Models [69.51130760097818]
本研究では,報奨誘導型ルーティング手法であるZooterを提案する。
さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
論文 参考訳（メタデータ） (2023-11-15T04:40:43Z) - A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration [55.35849138235116]
本稿では,様々なタスクやドメインに対する動的コミュニケーション構造において,候補からエージェントのチームを自動的に選択する手法を提案する。
具体的には, LLMを利用したエージェント協調のための動的LLMパワーエージェントネットワーク(textDyLAN$)というフレームワークを構築した。
我々は、コード生成、意思決定、一般的な推論、算術的推論タスクにおいて、適度な計算コストで、DyLANが強力なベースラインを上回ることを実証する。
論文 参考訳（メタデータ） (2023-10-03T16:05:48Z) - Multi-Agent Automated Machine Learning [54.14038920246645]
自動機械学習(AutoML)におけるモジュールの共同最適化のためのマルチエージェント自動機械学習(MA2ML)を提案する。
MA2MLはモジュール間の協力を強化するために各エージェントにクレジットを明示的に割り当て、検索効率を向上させるために政治外の学習を取り入れている。
実験により、MA2MLは計算コストの制約の下でImageNet上で最先端のトップ1の精度が得られることが示された。
論文 参考訳（メタデータ） (2022-10-17T13:32:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。