論文の概要: MoEs Are Stronger than You Think: Hyper-Parallel Inference Scaling with RoE

• arxiv url: http://arxiv.org/abs/2509.17238v1
• Date: Sun, 21 Sep 2025 21:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.179536
• Title: MoEs Are Stronger than You Think: Hyper-Parallel Inference Scaling with RoE
• Title（参考訳）: MoEsはあなたの考えるよりも強い - RoEによるハイパー並列推論スケーリング
• Authors: Soheil Zibakhsh, Mohammad Samragh, Kumari Nishu, Lauren Hannah, Arnav Kundu, Minsik Cho,
• Abstract要約: トークンレベルでの予測品質を改善する補完的なフレームワークであるハイパー並列スケーリングを導入する。 この概念をMixture-of-Experts(MoE)モデルで実装し、Roster of Experts(RoE)と呼ぶ。 RoEはトレーニング不要な推論アルゴリズムで、単一のMoEをMoEのダイナミックアンサンブルに変換する。
• 参考スコア（独自算出の注目度）: 12.96406947372715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The generation quality of large language models (LLMs) is often improved by utilizing inference-time sequence-level scaling methods (e.g., Chain-of-Thought). We introduce hyper-parallel scaling, a complementary framework that improves prediction quality at the token level. Hyper-parallel scaling computes and aggregates multiple output proposals for a single token from the model. We implement this concept in Mixture-of-Experts (MoE) models, which we refer to as Roster of Experts (RoE). RoE is a training-free inference algorithm that turns a single MoE into a dynamic ensemble of MoEs. RoE injects controlled stochasticity into the expert routing mechanism, enabling it to sample multiple diverse experts for each token and aggregate their outputs for a more accurate final prediction.To overcome the computational cost, we introduce an efficient batching strategy and a specialized KV-caching mechanism that minimizes compute and memory overhead. For example, RoE enables a 7B MoE model to match the performance of a 10.5B MoE model while using 30% less compute for inference. These gains are achieved without any fine-tuning of model parameters.
• Abstract（参考訳）: 大規模言語モデル(LLM)の生成品質は、推論時シーケンスレベルのスケーリング手法(例えばChain-of-Thought)を利用することで改善されることが多い。 トークンレベルでの予測品質を改善する補完的なフレームワークであるハイパー並列スケーリングを導入する。 ハイパー並列スケーリングは、モデルから単一のトークンに対する複数の出力提案を計算し、集約する。 我々はこの概念をMixture-of-Experts(MoE)モデルで実装し、Roster of Experts(RoE)と呼ぶ。 RoEはトレーニング不要な推論アルゴリズムで、単一のMoEをMoEのダイナミックアンサンブルに変換する。 RoEは、制御された確率性を専門家のルーティング機構に注入し、トークンごとに複数の多様な専門家をサンプリングし、より正確な最終的な予測のために出力を集約する。 例えば、RoE は 7B MoE モデルを 10.5B MoE モデルのパフォーマンスと一致させ、推論に 30% の少ない計算を使用することができる。 これらの利得はモデルパラメータを微調整することなく達成される。

関連論文リスト

• Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
  効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。 この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。 我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
  論文  参考訳（メタデータ） (2025-06-13T14:29:40Z)
• Pangu Ultra MoE: How to Train Your Big MoE on Ascend NPUs [111.69640966866059]
  ミキチャー・オブ・エキスパート(MoE)と1兆近いパラメータを持つ疎大言語モデル(LLM)が、最も有能な言語モデルの領域を支配している。 本稿では,Ascend NPU上でそのようなスケールを利用するレシピを明らかにすることを目的としている。 主な目的は、動的スパースモデル構造下でのコンピューティングリソースのより良い使用と、実際のハードウェアで期待されるパフォーマンス向上の実現である。
  論文  参考訳（メタデータ） (2025-05-07T15:46:36Z)
• D$^{2}$MoE: Dual Routing and Dynamic Scheduling for Efficient On-Device MoE-based LLM Serving [14.607254882119507]
  専門家(MoE)モデルの組み合わせは、大きな言語モデル(LLM)のスパース変種である。 メリットはあるものの、リソース制約のあるエッジデバイスにデプロイするにはMoEは高価すぎる。 D$2$MoEは,各専門家に最適なビット幅を動的に割り当てることで,多様なタスク要求に適合するアルゴリズム・システム協調設計フレームワークである。
  論文  参考訳（メタデータ） (2025-04-17T05:37:35Z)
• CMoE: Converting Mixture-of-Experts from Dense to Accelerate LLM Inference [33.871080938643566]
  CMoEは、高密度言語モデルをトレーニングなしで、ミックス・オブ・エキスパート(MoE)に迅速に変換するフレームワークである。 実験により、75%の活性化比で、パープレキシティの点で顕著な結果が得られることが示された。 パラメータの25%をアクティベートするCMoE構成は、追加のトレーニングなしで使用可能なパープレキシティを保ちながら、エンドツーエンドのレイテンシを1.5倍削減する。
  論文  参考訳（メタデータ） (2025-02-06T14:05:30Z)
• Layerwise Recurrent Router for Mixture-of-Experts [42.36093735411238]
  Mixture-of-Experts (MoE)アーキテクチャは、トレーニングコストを大幅に増加させることなく、モデルサイズをスケールできる能力で際立っている。 現在のMoEモデルはパラメータ非効率をしばしば表示する。 我々はMixture-of-Experts(RMoE)のためのLayerwise Recurrent Routerを紹介する。
  論文  参考訳（メタデータ） (2024-08-13T10:25:13Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• XMoE: Sparse Models with Fine-grained and Adaptive Expert Selection [30.687511115573038]
  ツールは、スパースMoEモデルの有効性と効率を高めるために設計された新しいMoEである。 パフォーマンスを犠牲にすることなく、MoE層の計算負荷を50%以上削減しながら、モデルパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2024-02-27T08:18:02Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。