論文の概要: Rethinking LLM Ensembling from the Perspective of Mixture Models

• arxiv url: http://arxiv.org/abs/2605.00419v1
• Date: Fri, 01 May 2026 05:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.857656
• Title: Rethinking LLM Ensembling from the Perspective of Mixture Models
• Title（参考訳）: 混合モデルから見たLLMの再考
• Authors: Jiale Fu, Yuchu Jiang, Peijun Wu, Chonghan Liu, Joey Tianyi Zhou, Xu Yang,
• Abstract要約: 大規模言語モデル(LLM)のためのMixture-like Ensemble (ME)を提案する。 MEはアンサンブル分布からのサンプリングと数学的に等価であるが、1つのモデルのみを起動する必要があるため、従来のアンサンブルよりも1.78x-2.68倍高速である。 われわれは,LLMの効率的なアンサンブルのための新たな道を開き,トークンレベルのルーティング戦略をさらに探求する動機付けを行った。
• 参考スコア（独自算出の注目度）: 41.97945120072535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model ensembling is a well-established technique for improving the performance of machine learning models. Conventionally, this involves averaging the output distributions of multiple models and selecting the most probable label. This idea has been naturally extended to large language models (LLMs), yielding improved performance but incurring substantial computational cost. This inefficiency stems from directly applying conventional ensemble implementation to LLMs, which require a separate forward pass for each model to explicitly compute the ensemble distribution. In this paper, we propose the Mixture-model-like Ensemble (ME). By reinterpreting the ensemble as a mixture model, ME stochastically selects a single model at each step to generate the next token, thereby avoiding the need to explicitly compute the full ensemble distribution. ME is mathematically equivalent to sampling from the ensemble distribution, but requires invoking only one model, making it 1.78x-2.68x faster than conventional ensemble. Furthermore, this perspective connects LLM ensembling and token-level routing methods, suggesting that LLM ensembling is a special case of routing methods. Our findings open new avenues for efficient LLM ensembling and motivate further exploration of token-level routing strategies for LLMs. Our code is available at https://github.com/jialefu/Mixture-model-like-Ensemble/.
• Abstract（参考訳）: モデルアンサンブル(Model ensembling)は、機械学習モデルの性能を改善するための確立されたテクニックである。 従来、これは複数のモデルの出力分布を平均化し、最も確率の高いラベルを選択する。 このアイデアは大規模言語モデル(LLM)に自然に拡張され、性能は向上したが、かなりの計算コストがかかる。 この非効率性は、従来のアンサンブル実装を直接 LLM に適用することに由来する。 本稿では,Mixture-model-like Ensemble (ME)を提案する。 アンサンブルを混合モデルとして再解釈することにより、MEは各ステップで1つのモデルを確率的に選択し、次のトークンを生成する。 MEはアンサンブル分布からのサンプリングと数学的に等価であるが、1つのモデルのみを起動する必要があるため、従来のアンサンブルよりも1.78x-2.68倍高速である。 さらに、この視点はLLMアンサンブルとトークンレベルのルーティング手法を結びつけ、LLMアンサンブルがルーティング手法の特別な場合であることを示唆している。 本研究は, LLMの効率的なアンサンブルのための新たな道を開き, LLMのトークンレベルのルーティング戦略をさらに探求する動機となった。 私たちのコードはhttps://github.com/jialefu/Mixture-model-like-Ensemble/で利用可能です。

関連論文リスト

• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• SpecFuse: Ensembling Large Language Models via Next-Segment Prediction [42.28242821924789]
  SpecFuseは、LCM間のコラボレーションを通じて次のセグメントを反復的に生成することで、融合結果を出力するアンサンブルフレームワークである。 上位のセグメントは全LLMに放送され、次のラウンドで高品質なセグメントを生成するように促される。 計算資源を保存するため,前回のラウンドで性能が劣るモデルを動的に排除するモデル出口機構を提案する。
  論文  参考訳（メタデータ） (2024-12-10T10:27:41Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• No Need to Talk: Asynchronous Mixture of Language Models [25.3581396758015]
  Smalltalk LMは、ほぼ非同期な方法で言語モデルの混合を訓練するための革新的な方法である。 推測では、短いプレフィックスによると、軽量ルータが与えられたシーケンスを単一の専門家に指示する。 言語モデリング実験により、SMALLTALK LMは高密度モデルベースラインよりも非常に低いパープレキシティを実現することが示された。
  論文  参考訳（メタデータ） (2024-10-04T15:50:10Z)
• Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
  大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。 本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:52:22Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。