論文の概要: MoRE: Scaling mixture of experts with hardware-aware low-rank routing

• arxiv url: http://arxiv.org/abs/2609.36301v1
• Date: Mon, 28 Sep 2026 21:37:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.020157
• Title: MoRE: Scaling mixture of experts with hardware-aware low-rank routing
• Title（参考訳）: MoRE: ハードウェア対応低ランクルーティングの専門家のスケーリング
• Abstract要約: そこで,Mixture of Rank-reduced-routed Experts (Mixture of Rank-Reduced-routed Experts) を導入し,ルータの重み行列をランク$r$で分解し,ルーティングコストを$O((h + M)r)$に削減する。 能動的専門家の数が固定された場合,M$suffices のランク対数式が表現率のルーティングに十分であることを示す。 MoREは、事前学習後、電話帳タスクの記憶を改善し、知識集約型Q&Aベンチマークのパフォーマンスを推論能力に適合させながら改善する。
• 参考スコア（独自算出の注目度）: 18.92561703051693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) layers are central to frontier language models, and recent architectures push toward more and smaller experts. In this regime, the standard linear router becomes a bottleneck: with $M$ experts and hidden dimension $h$, its per-token cost $Θ(Mh)$ dominates the MoE layer once $M$ is large. We introduce MoRE (Mixture of Rank-reduced-routed Experts), which factorizes the router weight matrix at rank $r$ and reduces the routing cost to $O((h + M)r)$. We prove that rank logarithmic in $M$ suffices for routing expressivity when the number of active experts is fixed, and is necessary up to precision factors. We also prove that logarithmic rank preserves load balance in a Gaussian memorization model, and training on a synthetic phonebook task shows that low rank does not hurt memorization. At matched active FLOPs, the factorization allows a factor of $Θ(h/r)$ more experts. To realize this gain in wall-clock time, we design a fused Triton kernel at inference that avoids expensive memory operations on HBM. Empirically, MoRE improves memorization on the phonebook task and performance on knowledge-intensive Q\&A benchmarks after pretraining, while matching reasoning ability. Code available at https://github.com/Matheart/MoRE_code.
• Abstract（参考訳）: Mixture-of-Experts (MoE) レイヤはフロンティア言語モデルの中心であり、最近のアーキテクチャはより小さな専門家に向かっている。 この体制では、標準的なリニアルータはボトルネックとなり、M$の専門家と隠された次元$h$では、M$が大きければ、そのトーケン当たりのコストは$(Mh)$がMoE層を支配する。 そこで,Mixture of Rank-reduced-routed Experts (Mixture of Rank-Reduced-routed Experts) を導入し,ルータの重み行列をランク$r$で分解し,ルーティングコストを$O((h + M)r)$に削減する。 能動的専門家の数が固定された場合, M$ suffices のランク対数式が表現率のルーティングに十分であることが証明され, 精度因子まで必要である。 また,ガウスの暗記モデルにおいて対数ランクが負荷バランスを保ち,低ランクが暗記を損なわないことを示す。 一致した活性 FLOP において、因子化は、より多くの専門家に$(h/r)の因子を与える。 壁面時間におけるこの増加を実現するため,HBM上の高価なメモリ操作を回避するために,融合したトリトンカーネルを推論時に設計する。 実証的に、MoREは電話帳のタスクの記憶を改善し、事前学習後の知識集約型Q\&Aベンチマークのパフォーマンスを推論能力に適合させながら改善する。 コードはhttps://github.com/Matheart/MoRE_code.comで公開されている。

関連論文リスト

• SoftMoE: Soft Differentiable Routing for Mixture-of-Experts in LLMs [10.607329413550223]
  離散的ルーティングをトラッピングしたソフトトップ-k$LapSum緩和に置き換えるSoftMoEを提案する。 さらに、各レイヤごとのアクティブエキスパートの平均数をパラメータ化し、グローバルな予算制約を課します。 SoftMoEは、自動回帰モデリングと、言語モデリングとダウンストリームタスクのスパースMoEに匹敵するパフォーマンスと完全に互換性がある。
  論文  参考訳（メタデータ） (2026-06-16T14:05:41Z)
• Route Experts by Sequence, not by Token [58.92918003265283]
  Mixture-of-Experts (MoE)アーキテクチャは、トークンごとに専門家のサブセットだけを活性化することによって、大きな言語モデル(LLM)をスケールする。 標準的なTopKルーティングは、すべてのトークンに同じ固定数の専門家を割り当てる。 トークンレベルからシークエンスレベルにシフトする最小限の修正であるシークエンスレベルTopK(SeqTopK)を提案する。
  論文  参考訳（メタデータ） (2025-11-09T18:36:07Z)
• Opportunistic Expert Activation: Batch-Aware Expert Routing for Faster Decode Without Retraining [34.97996720624093]
  トークンから専門家へのマッピングを動的に再ルーティングするフレームワークを導入し、MoEレイテンシを低くする。 バッチサイズが16ドルであるQwen3-30BおよびQwen3-235Bモデルについて評価を行った。
  論文  参考訳（メタデータ） (2025-11-04T04:00:20Z)
• Understanding the Mixture-of-Experts with Nadaraya-Watson Kernel [87.60286115014833]
  Mixture-of-Experts (MoE)は最近の最先端の大規模言語モデル(LLM)の基盤となっている。 伝統的に、MoEはエキスパート出力を集約するためにルータスコア関数として$mathrmSoftmax$に依存している。 mathrmSoftmax$の代替として,textbfzero-additional-cost Kernel Router with Normalization (KERN)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T08:04:02Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing [30.941881811797515]
  本稿では,Mixture of Sparse Attention (MoSA)について述べる。 MoSAは、各アテンションヘッドのトークンを動的に選択し、任意のスパースアテンションパターンを可能にする。 MoSAは高密度のベースラインを上回り、時には同じ計算予算に対して最大27%のパープレキシティを持つ。
  論文  参考訳（メタデータ） (2025-05-01T05:22:11Z)
• Mixture of Parrots: Experts improve memorization more than reasoning [72.445819694797]
  専門家の数が増えるにつれて、推論能力が飽和している間に記憶性能が一貫して向上することを示す。 専門家の増加は知識集約的なタスクの解決に役立ちますが、推論タスクには同じようなメリットが得られません。
  論文  参考訳（メタデータ） (2024-10-24T17:54:41Z)
• Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient for Convolutional Neural Networks [74.68583356645276]
  ディープラーニングでは、Mixix-of-experts(MoE)が、サンプル単位またはトーケン単位で専門家(サブネットワーク)を活性化する。 我々は,pMoEが適切な一般化を実現するために,必要なトレーニングサンプル数を確実に削減できることを初めて示す。
  論文  参考訳（メタデータ） (2023-06-07T00:16:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。