論文の概要: Aligning Training and Rollout Policies for End-to-End FP4 RL on Mixture-of-Experts LLMs

• arxiv url: http://arxiv.org/abs/2611.04376v2
• Date: Wed, 04 Nov 2026 03:54:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.754897
• Title: Aligning Training and Rollout Policies for End-to-End FP4 RL on Mixture-of-Experts LLMs
• Title（参考訳）: 実験用LLMのエンド・ツー・エンドFP4RLの調整とロールアウト
• Abstract要約: 本研究では,Mixture-of-Experts(MoE)大規模言語モデルの訓練後のエンドツーエンドFP4強化学習(RL)について検討する。 FP4 RLの最近の研究は、高密度モデルに対する積極的な低精度量子化の下で精度を回復する効果的な回復レシピを導入している。 また,本手法は,MoE設定におけるFP4ベースラインの改善を伴わないことがわかった。
• 参考スコア（独自算出の注目度）: 10.156130914128449
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this work, we study end-to-end FP4 reinforcement learning (RL) post-training for Mixture-of-Experts (MoE) large language models. Recent work on FP4 RL has introduced effective recovery recipes that restore accuracy under aggressive low-precision quantization for dense models, but we find that the same approach yields no improvement over the naive FP4 baseline in the MoE setting. We conduct an in-depth study to understand why. Our analysis identifies the root cause in the routing mechanism unique to MoE: because the router makes discrete expert-selection decisions, training-inference policy alignment becomes acutely sensitive to whether the same recovery technique is applied symmetrically on the training and inference sides. When an asymmetric recipe is used-including the dense-model approach, which corrects only the rollout-training-inference alignment deteriorates sharply, as measured by the Pearson correlation coefficient between training and inference probabilities, and router selection matching rates. Building on this finding, we propose MoEResQ, a quantization-recovery recipe for MoE RL post-training that enforces symmetry between the training- and inference-side corrections. MoEResQ restores training-inference alignment and substantially closes the accuracy gap to full precision, establishing symmetric recovery as the key principle in FP4 RL for MoE models.
• Abstract（参考訳）: 本研究では,Mixture-of-Experts(MoE)大規模言語モデルのエンドツーエンドFP4強化学習(RL)後学習について検討する。 FP4 RLの最近の研究は、高密度モデルに対する積極的な低精度量子化の下で精度を回復する効果的なリカバリレシピを導入しているが、同じアプローチは、MoE設定における単純なFP4ベースラインよりも改善しない。 我々は理由を理解するために詳細な研究を行っている。 ルータが個別に専門家選択決定を行うため、トレーニング・推論ポリシーアライメントはトレーニング・推論側で同じリカバリ手法が対称的に適用されるかどうかに非常に敏感になる。 非対称なレシピを用いる場合、トレーニングと推論確率のピアソン相関係数とルータ選択マッチング率によって測定されるように、ロールアウトトレーニング-推論アライメントのみを補正する高密度モデルアプローチが大幅に低下する。 この発見に基づいて,トレーニング側と推論側との対称性を強制するMoE RLポストトレーニングのための量子化回収法であるMoEResQを提案する。 MoEResQはトレーニングと推論のアライメントを復元し、精度ギャップを完全精度に実質的に閉じ、MoEモデルのFP4 RLの鍵原理として対称回復を確立する。

関連論文リスト

• Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training [84.42814959140664]
  一般的な治療法は混合精度トレーニング(mixed-precision training)であり、コストの制約を保ちながらパフォーマンスを維持するために高い精度をいくつかのレイヤに割り当てる。 本稿では,Q-PACEと呼ばれる2次感度モデルを用いて,各層曲率係数の重み付けによる量子化雑音MSEの和として損失増加を予測する手法を提案する。 最大4BパラメータのLLMの事前トレーニングおよび教師付き微調整実験により、Q-PACEは既存の混合精度トレーニングレシピよりも一貫して改善されていることが示された。
  論文  参考訳（メタデータ） (2026-10-06T22:34:48Z)
• TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models [27.766379580530444]
  TRACE (Train-Rollout Quantization Alignment via Compact GuidancE) は、Mixture-of-Experts (MoE)言語モデルのRLトレーニングのためのFP4量子化フレームワークである。 TRACEはロールアウトサイドの量子化結果を導入し、トレーニングサイドのFP4ラウンド決定をガイドし、列車のロールアウトの差を直接低減する。 TRACEはBF16ロールアウトに匹敵するRL性能でFP4重量/アクティベーションとFP4KVキャッシュのロールアウトを可能にした。
  論文  参考訳（メタデータ） (2026-10-06T05:03:47Z)
• Stable FP4 Training via Transposition-Invariant Block Quantization [14.373963304887754]
  従来の1Dブロック量子化では、前方と後方のパスは変換後に同じ値に誘電性スケーリング因子を割り当てる。 本稿では,2次元ブロックFP4量子化に基づく低精度トレーニングフレームワークを提案する。 提案手法は安定なエンドツーエンドFP4トレーニングを実現し,BF16の性能と密に一致し,パープレキシティと下流精度が1.3%未満に低下した。
  論文  参考訳（メタデータ） (2026-07-27T18:03:34Z)
• QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides [26.939321070753607]
  ロールアウト生成は、Mixture-of-Experts(MoE)大規模言語モデルのための強化学習において、大きなボトルネックとなる。 そこで本稿では,NVFP4 RL の安定化を図るため,QUantization-error Alignment across Dual Sides (QUADS)を提案する。 QUIDSはBF16レベルの精度を実現し、NVFP4 RLよりも平均パス@1を21.49ポイント改善し、FP8よりも16%高いロールアウトスループットを提供する。
  論文  参考訳（メタデータ） (2026-07-17T10:21:27Z)
• Trust Region Q Adjoint Matching [54.05514246126841]
  本稿では,経路空間KLを予め訓練されたフローポリシーで適応的に制御する安定なオフポリチック微調整アルゴリズムであるTrust Region Q-Adjoint Matching (TRQAM)を紹介する。 TRQAMは、オフラインRLとオフライン-オフラインRLの両方において、常に先行技術を上回っている。
  論文  参考訳（メタデータ） (2026-05-26T14:28:43Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers [33.18639109838351]
  我々は,MoEモデルのトレーニングと推論の整合性を解析し,ルーティング行動における顕著な相違点を同定する。 本稿では、推論エンジンからのルーティング分布を記録し、トレーニング中にリプレイするRollout Replay Routing (R3)を提案する。 R3は、トレーニング速度を損なうことなく、トレーニング推論ポリシーKLのばらつきを著しく低減し、極端な不一致を緩和する。
  論文  参考訳（メタデータ） (2025-10-13T13:11:27Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
  本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。 PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。 実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-01T07:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。