論文の概要: ReLibra: Routing-Replay-Guided Load Balancing for MoE Training in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.08639v1
• Date: Sat, 09 May 2026 03:18:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.78521
• Title: ReLibra: Routing-Replay-Guided Load Balancing for MoE Training in Reinforcement Learning
• Title（参考訳）: ReLibra: 強化学習におけるMoEトレーニングのためのルーティング再生型ロードバランシング
• Abstract要約: 既存のMoEトレーニングシステムは、将来の専門家の需要を予測するために、過去の負荷に依存しているため、急激な変動の下では効果が低下する。 本稿では,RLのロールアウトトレーニングワークフロー,ルーティングリプレイにおいて,ユニークな機会を利用するMoE RLトレーニングシステムであるReLibraを提案する。 ReLibraは2つのMoEロードバランシング機構をバッチ間およびバッチ内タイムスケールに配置し、通信パターンを階層的なネットワーク帯域幅に合わせる。
• 参考スコア（独自算出の注目度）: 25.56589176139082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Load imbalance is a long-standing challenge in Mixture-of-Experts (MoE) training and is exacerbated in reinforcement learning (RL) for LLMs, where hot experts can shift frequently across micro-batches. Existing MoE training systems rely on historical loads to predict future expert demand, making them less effective under sharp fluctuations. We propose ReLibra, an MoE RL training system that exploits a unique opportunity in RL's rollout-training workflow, routing replay, to enable fine-grained load balancing at micro-batch granularity. Because rollout and training process the same tokens with the same MoE parameters, the token-to-expert routing decisions are known before training starts. Leveraging this information, ReLibra places two MoE load-balancing mechanisms at inter- and intra-batch timescales, matching their communication patterns to hierarchical network bandwidths. At the inter-batch timescale, ReLibra performs expert reordering to redistribute experts for batch-level cross-node balancing; at the intra-batch timescale, it dynamically performs expert replication within a node to absorb micro-batch-level load fluctuations. Experiments on diverse MoE LLMs and RL workloads show that ReLibra improves training throughput by up to 1.6$\times$ over Megatron-LM and by up to 1.2$\times$ over EPLB, even when EPLB is given oracle loads. Moreover, ReLibra remains within 6%-10% of the throughput of an idealized balanced baseline.
• Abstract（参考訳）: 負荷不均衡は、Mixture-of-Experts(MoE)トレーニングにおける長年にわたる課題であり、LLMの強化学習(RL)において悪化している。 既存のMoEトレーニングシステムは、将来の専門家の需要を予測するために、過去の負荷に依存しているため、急激な変動の下では効果が低下する。 マイクロバッチ粒度でのきめ細かな負荷分散を実現するために,RLのロールアウトトレーニングワークフローであるルーティングリプレイにおいて,ユニークな機会を利用するMoE RLトレーニングシステムであるReLibraを提案する。 ロールアウトとトレーニングは、同じMoEパラメータで同じトークンを処理しているため、トークンから専門家までのルーティング決定は、トレーニングが始まる前に知られています。 この情報を活用することで、ReLibraは2つのMoEロードバランシングメカニズムをバッチ内およびバッチ内タイムスケールに配置し、通信パターンを階層的なネットワーク帯域幅に適合させる。 バッチ間時間スケールでは、ReLibraはバッチレベルのクロスノードバランシングのために専門家の再注文を行う。バッチ内時間スケールでは、ノード内でエキスパートレプリケーションを実行して、マイクロバッチレベルの負荷変動を吸収する。 多様なMoE LLMとRLワークロードの実験によると、ReLibraはトレーニングのスループットをMegatron-LMで1.6$\times$、EPLBで1.2$\times$で改善している。 さらにReLibraは、理想化されたバランスの取れたベースラインのスループットの6%から10%以内に留まっている。

関連論文リスト

• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• LAER-MoE: Load-Adaptive Expert Re-layout for Efficient Mixture-of-Experts Training [27.022187489292467]
  本稿では,効率的なMoEトレーニングフレームワークであるLAER-MoEを紹介する。 LAER-MoEの中核は、新しい並列パラダイムであるFully Sharded Expert Parallel(FSEP)である。 我々はA100クラスタ上で実験を行い、その結果、現在の最先端のトレーニングシステムと比較して最大1.69倍の加速を実現していることを示す。
  論文  参考訳（メタデータ） (2026-02-12T08:08:03Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• LeMix: Unified Scheduling for LLM Training and Inference on Multi-GPU Systems [20.108099254767613]
  本稿では,並列大規模言語モデル(LLM)の運用と訓練を共同で行うシステムであるLeMixを提案する。 LeMixはオフラインプロファイリング、実行予測機構、実行時スケジューリングを統合し、リソース割り当てを動的に適応させる。 評価の結果、LeMixはスループットを最大3.53倍改善し、推論損失を最大0.61倍削減し、応答時間SLOの最大2.12倍向上した。
  論文  参考訳（メタデータ） (2025-07-28T19:03:26Z)
• Omni-Thinker: Scaling Multi-Task RL in LLMs with Hybrid Reward and Task Scheduling [66.0871543682453]
  我々はOmni-Thinkerについて紹介する。Omni-Thinkerは多種多様なタスクにわたって大きな言語モデルをスケールする統合強化学習フレームワークである。 我々のスケジューラは,BWTに基づいてタスクを順序付けし,マルチタスク性能を向上する。
  論文  参考訳（メタデータ） (2025-07-20T01:50:16Z)
• AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning [23.24949857136035]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練において支配的なパラダイムとなっている。 本稿では,完全非同期RLシステムであるAReaLについて述べる。
  論文  参考訳（メタデータ） (2025-05-30T07:18:25Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)
• Continual Pre-training of MoEs: How robust is your router? [31.784662011106196]
  Mixture of Experts (MoE) トランスフォーマーは、基礎モデルのための有望なアーキテクチャである。 MoEは、トレーニング時のサンプル効率の改善と、より強力なパフォーマンスの恩恵を受ける。 完全再学習したMoEの性能を,MoEのコストのごく一部で一致させることができることを示す。
  論文  参考訳（メタデータ） (2025-03-06T22:55:01Z)
• ReaL: Efficient RLHF Training of Large Language Models with Parameter Reallocation [12.321332446941378]
  Reinforcement Learning from Human Feedback (RLHF)は、大規模言語モデル(LLM)アプリケーションを強化するための重要なテクニックである。 効率的なRLHFトレーニングのための先駆的システムであるReaLを紹介する。 最大700億のパラメータと128のGPUを持つLLaMAモデル上でReaLを評価する。
  論文  参考訳（メタデータ） (2024-06-20T08:04:07Z)
• Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
  本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。 我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
  論文  参考訳（メタデータ） (2023-08-23T17:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。