論文の概要: Rethinking Mixture-of-Agents: Is Mixing Different Large Language Models Beneficial?
- arxiv url: http://arxiv.org/abs/2502.00674v1
- Date: Sun, 02 Feb 2025 05:23:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:03:45.971501
- Title: Rethinking Mixture-of-Agents: Is Mixing Different Large Language Models Beneficial?
- Title（参考訳）: ミックス・オブ・エージェントを再考する: 異なる大規模言語モデルの混合は有用か?
- Authors: Wenzhe Li, Yong Lin, Mengzhou Xia, Chi Jin,
- Abstract要約: Mixture-of-Agents (MoA) は複数の異なる言語モデル (LLM) から出力を集約するアンサンブル法である。
本稿では,トップパフォーマンスLLMのみの出力を集約する自己組織化手法であるSelf-MoAを提案する。
AlpacaEval 2.0の上位モデルの1つにSelf-MoAを適用することは、リーダボード上の新しい最先端のパフォーマンスを直接達成する。
- 参考スコア（独自算出の注目度）: 34.09805047407917
- License:
- Abstract: Ensembling outputs from diverse sources is a straightforward yet effective approach to boost performance. Mixture-of-Agents (MoA) is one such popular ensemble method that aggregates outputs from multiple different Large Language Models (LLMs). This paper raises the question in the context of language models: is mixing different LLMs truly beneficial? We propose Self-MoA -- an ensemble method that aggregates outputs from only the single top-performing LLM. Our extensive experiments reveal that, surprisingly, Self-MoA outperforms standard MoA that mixes different LLMs in a large number of scenarios: Self-MoA achieves $6.6\%$ improvement over MoA on the AlpacaEval 2.0 benchmark, and an average of $3.8\%$ improvement across various benchmarks, including MMLU, CRUX, and MATH. Applying Self-MoA to one of the top-ranking models in AlpacaEval 2.0 directly achieves the new state-of-the-art performance on the leaderboard. To understand the effectiveness of Self-MoA, we systematically investigate the trade-off between diversity and quality of outputs under various MoA settings. We confirm that the MoA performance is rather sensitive to the quality, and mixing different LLMs often lowers the average quality of the models. To complement the study, we identify the scenarios where mixing different LLMs could be helpful. This paper further introduces a sequential version of Self-MoA, that is capable of aggregating a large number of LLM outputs on-the-fly over multiple rounds, and is as effective as aggregating all outputs at once.
- Abstract（参考訳）: さまざまなソースからのアウトプットを組み立てることは、パフォーマンスを高めるための単純だが効果的なアプローチです。
Mixture-of-Agents (MoA)は、複数の異なる言語モデル(LLM)から出力を集約する一般的なアンサンブル手法である。
異なるLLMを混在させることは本当に有益か?
本稿では,トップパフォーマンスLLMのみの出力を集約する自己組織化手法であるSelf-MoAを提案する。
Self-MoAはAlpacaEval 2.0ベンチマークでMoAよりも6.6 %$改善され、MMLU、CRUX、MATHを含む様々なベンチマークで平均3.8 %$改善されています。
AlpacaEval 2.0の上位モデルの1つにSelf-MoAを適用することは、リーダボード上の新しい最先端のパフォーマンスを直接達成する。
自己MoAの有効性を理解するため,様々なMoA設定下でのアウトプットの多様性と品質のトレードオフを系統的に検討した。
我々は、MoA性能が品質にかなり敏感であることを確認し、異なるLLMを混合することで、モデルの平均品質を低下させることが多い。
この研究を補完するために、異なるLLMを混合することが有用であるシナリオを特定した。
さらに,複数ラウンドで多数のLCM出力を集約できるSelf-MoAのシーケンシャルバージョンを導入し,一度にすべての出力を集約するのと同じくらい効果的であることを示す。
関連論文リスト
- Optimizing Model Selection for Compound AI Systems [76.69936664916061]
本稿では,複合システムにおけるモデル選択のための効率的なフレームワークを提案する。
1つのモジュールを反復的に選択し、最も高いモジュールレベルのパフォーマンスを持つモデルを割り当てます。
すべてのモジュールで同じLLMを使用する場合と比較して、5%-70%の精度向上が期待できる。
論文 参考訳（メタデータ） (2025-02-20T18:36:25Z) - MALT: Improving Reasoning with Multi-Agent LLM Training [64.13803241218886]
推論問題に対するマルチエージェントLLMトレーニング(MALT)に向けた第一歩を提示する。
提案手法では,ヘテロジニアスLSMが割り当てられた逐次的マルチエージェント構成を用いる。
我々は,MATH,GSM8k,CQAにまたがるアプローチを評価し,MALT on Llama 3.1 8Bモデルでそれぞれ14.14%,7.12%,9.40%の相対的な改善を実現した。
論文 参考訳（メタデータ） (2024-12-02T19:30:36Z) - $γ-$MoD: Exploring Mixture-of-Depth Adaptation for Multimodal Large Language Models [87.43596173378913]
我々は既存のMLLMに対して$gamma$-MoDという革新的な戦略を提案する。
$gamma$-MoD では、MLLM における MoD の展開を導くための新しい計量法が提案されている。
MLLMの計算空間を最大化する2つの新しい設計法を提案する。
論文 参考訳（メタデータ） (2024-10-17T17:59:53Z) - Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free [21.59456761618456]
大規模言語モデル(LLM)は生成タスクに優れ、デコーダのみのアーキテクチャは、さらなる表現の微調整が適用されない場合、埋め込みモデルとしての可能性を制限することが多い。
我々の研究は、MoE LLMのエキスパートルータが、様々な組込みタスクに対して有望な性能を持つ既製の組込みモデルとして機能できることを示唆している。
論文 参考訳（メタデータ） (2024-10-14T17:59:44Z) - MetaLLM: A High-performant and Cost-efficient Dynamic Framework for Wrapping LLMs [21.689490112983677]
分類タスクに最適な大言語モデル(LLM)に各クエリを動的にルーティングするフレームワークであるMetaLLMを紹介する。
多武装バンディットとして選択問題をフレーミングすることで、MetaLLMは不確実性の下で予測精度とコスト効率のバランスをとる。
LLMプラットフォーム上で実施した本実験では,メタLLMの有効性を実世界のシナリオで示す。
論文 参考訳（メタデータ） (2024-07-15T15:45:07Z) - Mixture-of-Agents Enhances Large Language Model Capabilities [34.68610100315386]
我々は,Mixture-of-Agents(MoA)手法を用いて,多言語モデル(LLM)の総合的知識を活用する新しい手法を提案する。
提案手法では, 各層が複数のLLMエージェントから構成される層状MoAアーキテクチャを構築する。
MoAモデルは、AlpacaEval 2.0、MT-Bench、FLASKで、GPT-4 Omniを上回っている。
論文 参考訳（メタデータ） (2024-06-07T07:04:10Z) - CuMo: Scaling Multimodal LLM with Co-Upcycled Mixture-of-Experts [41.80218225636109]
CuMoは、より小さなモデルと同様の推論コストを維持しながら、トレーニング中のモデルのスケーラビリティを改善します。
CuMoは視覚エンコーダとコネクタの両方にスパースゲートのMixture-of-Expertsブロックを組み込んでいる。
CuMoのコードとモデルの重み付けはhttps://github.com/SHI-Labs/CuMoでオープンソース化されている。
論文 参考訳（メタデータ） (2024-05-09T17:37:20Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳（メタデータ） (2024-01-19T05:02:46Z) - Routing to the Expert: Efficient Reward-guided Ensemble of Large
Language Models [69.51130760097818]
本研究では,報奨誘導型ルーティング手法であるZooterを提案する。
さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
論文 参考訳（メタデータ） (2023-11-15T04:40:43Z) - MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。
本稿では,MLLM 評価ベンチマーク MME について述べる。
知覚能力と認知能力の両方を合計14のサブタスクで測定する。
論文 参考訳（メタデータ） (2023-06-23T09:22:36Z) - Generative Multimodal Entity Linking [24.322540112710918]
MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。
既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。
大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。
当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
論文 参考訳（メタデータ） (2023-06-22T07:57:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。