論文の概要: LRMoE: Demand-Side Load Re-Calibration for Efficient MoE Training on Memory-Constrained Nodes

• arxiv url: http://arxiv.org/abs/2610.37720v1
• Date: Tue, 27 Oct 2026 09:41:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.30273
• Title: LRMoE: Demand-Side Load Re-Calibration for Efficient MoE Training on Memory-Constrained Nodes
• Title（参考訳）: LRMoE: メモリ制約ノード上での効率的なMoEトレーニングのための需要側負荷再校正
• Abstract要約: 本稿では,メモリを意識した学習システムであるLRMoEについて述べる。 キャパシティ対応ルーティングアルゴリズムは、元のエキスパートの該当インスタンスに保持ペアを分散する。 Qwen3-30B-A3BとGLM4.5-106B-A12Bの実験により、LRMoEは累積MoE層トレーニング時間を21.2-44.8%削減した。
• 参考スコア（独自算出の注目度）: 11.472246456095158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse Mixture-of-Experts (MoE) models offer scalable capacity for Web applications, but uneven routing creates computation and communication bottlenecks. Existing placement and replication methods redistribute this workload, yet additional expert copies compete with token-related buffers for limited GPU memory. We present LRMoE, a memory-aware MoE training system that jointly recalibrates backward demand and balances the retained workload. During forward execution, it plans retention quotas and expert placement under resource constraints while preserving all routed computations. During backpropagation, a load recalibration metric estimates each token-expert pair's contribution to the expert update and selects pairs within these quotas. A capacity-aware routing algorithm distributes retained pairs among eligible instances of their original experts. Physical compaction then forms smaller communication payloads and variable-size grouped GEMMs, reducing backward traffic, computation, and execution-buffer demand. Experiments on Qwen3-30B-A3B and GLM4.5-106B-A12B show that LRMoE reduces cumulative MoE-layer training time to fixed-loss targets by 21.2-44.8% relative to SYMI.
• Abstract（参考訳）: Sparse Mixture-of-Experts (MoE)モデルは、Webアプリケーションにスケーラブルなキャパシティを提供するが、不均一なルーティングは計算と通信のボトルネックを生み出す。 既存の配置とレプリケーションの方法は、このワークロードを再配布するが、追加のエキスパートコピーは、限られたGPUメモリ用のトークン関連バッファと競合する。 本稿では,メモリを意識した学習システムであるLRMoEについて述べる。 フォワード実行中に、すべてのルーティングされた計算を保存しながら、リソース制約下での保持クォータと専門家の配置を計画する。 バックプロパゲーションの間、ロードリカレーションメトリックは、専門家更新に対する各トークン-専門家ペアのコントリビューションを推定し、これらのクォータ内のペアを選択する。 キャパシティ対応ルーティングアルゴリズムは、元のエキスパートの該当インスタンスに保持ペアを分散する。 物理的コンパクト化は、より小さな通信ペイロードと可変サイズのGEMMを形成し、後方トラフィック、計算、実行バッファ要求を減らす。 Qwen3-30B-A3BとGLM4.5-106B-A12Bの実験は、LRMoEが累積MoE層のトレーニング時間をSYMIと比較して21.2-44.8%減らすことを示した。

関連論文リスト

• CIPHER-MoE: Balancing Efficiency and Routing Fidelity in Trillion-Scale MoE Training [23.265801521907417]
  Mixture-of-Experts (MoE)は最近の大規模言語モデル(LLM)アーキテクチャで広く採用されている。 非均一なトークンルーティングは、専門家やデバイス間で高度に不均衡なワークロードを引き起こす可能性がある。 CIPHER-MoEは、ルータのトークン側のTop-Kの選択を変更せずにMoEのワークロードの不均衡を緩和する。
  論文  参考訳（メタデータ） (2026-10-05T03:51:17Z)
• Function Over Form: Distributional Orthogonalization in Mixture-of-Experts with Replica Expert Mechanism [5.21868774372295]
  MoEは、しばしば専門家の崩壊と表現の冗長性によって制約され、モデルキャパシティの未使用に繋がる。 本稿では、静的な重みの多様性から動的ルーティング行動へ焦点を移す補助正規化である分布直交化損失(DO-loss)を提案する。 また,Replica Expert Mechanism (REM)を導入し,2層戦略によるロードバランシングを改善する。
  論文  参考訳（メタデータ） (2026-09-26T09:19:16Z)
• Distribution-Consistent Inference for Dynamic Sparse Mixture-of-Experts [48.294824672909876]
  推論時動的top-k$ルーティングは、再トレーニングせずに計算を削減できる。 アクティベートした専門家の数を減らせば、SMoE出力のRMSスケールと分散が一貫して増加することを示す。 そこで我々は,レイヤワイズ・キャリブレーションの統計値を用いて,最小構成の縮小表現を整列する軽量な推論時間補正法であるレイヤワイズ・アライメント・アライメント(LDA)を提案する。
  論文  参考訳（メタデータ） (2026-09-08T06:23:07Z)
• Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
  マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。 本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
  論文  参考訳（メタデータ） (2026-08-24T13:56:01Z)
• BitNet Text Embeddings [104.29781473344813]
  BITEMBEDは,符号化効率とベクトル記憶を両立させるLLMベースのテキスト埋め込みのための極低ビットフレームワークである。 BITEMBEDは、トレーニング済みのLLMバックボーンを3次重み、量子化アクティベーション、軽量な正規化改善を備えたBitNetスタイルの埋め込みエンコーダに変換する。 Qwen3-0.6B と Gemma703-2M を用いた MMTEB (eng) の実験では、BITEMBED は完全精度の教師埋め込み器とほぼ同等であることが示された。
  論文  参考訳（メタデータ） (2026-06-24T10:37:01Z)
• FoMoE: Breaking the Full-Replica Barrier with a Federation of MoEs [16.652851143065213]
  FoMoEは、労働者間で専門家層を分割し、地元の訓練中に非居住者の専門家をスキップすることで、フルレプリカパラダイムを破るシステムである。 本稿では,FoMoEが分散データ並列性(DDP)の通信コストを最大1.42倍に削減し,分散データ並列性(DDP)を最大45.44倍に抑えることを示す。
  論文  参考訳（メタデータ） (2026-06-17T12:50:07Z)
• ReLibra: Routing-Replay-Guided Load Balancing for MoE Training in Reinforcement Learning [25.56589176139082]
  既存のMoEトレーニングシステムは、将来の専門家の需要を予測するために、過去の負荷に依存しているため、急激な変動の下では効果が低下する。 本稿では,RLのロールアウトトレーニングワークフロー,ルーティングリプレイにおいて,ユニークな機会を利用するMoE RLトレーニングシステムであるReLibraを提案する。 ReLibraは2つのMoEロードバランシング機構をバッチ間およびバッチ内タイムスケールに配置し、通信パターンを階層的なネットワーク帯域幅に合わせる。
  論文  参考訳（メタデータ） (2026-05-09T03:18:50Z)
• Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts [27.40662720929157]
  Mixture-of-Experts (MoE) は大規模言語モデルをスケールするための主要なアーキテクチャとなっている。 本稿では,専門家数を増やすことで,MoE容量を段階的に拡大する専門家アップサイクリングを提案する。 筆者らの7B-13B総合パラメータ実験では,GPU時間の32%を節約しながら,検証損失の固定サイズベースラインと一致した。
  論文  参考訳（メタデータ） (2026-04-21T05:53:33Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
  エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。 極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。 本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
  論文  参考訳（メタデータ） (2026-01-23T18:19:15Z)
• Towards Efficient Post-training Quantization of Pre-trained Language Models [85.68317334241287]
  PLMのポストトレーニング量子化(PTQ)について検討し,モジュール単位の量子化誤差最小化(MREM)を提案する。 GLUEとSQuADベンチマークの実験により、提案したPTQソリューションはQATに近く動作するだけでなく、トレーニング時間、メモリオーバーヘッド、データ消費を大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-09-30T12:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。