Fugu-MT 論文翻訳(概要): End-to-End MXFP8 Reinforcement Learning on Blackwell: What Matching Buys, When It Pays Off, and How It Fails

論文の概要: End-to-End MXFP8 Reinforcement Learning on Blackwell: What Matching Buys, When It Pays Off, and How It Fails

arxiv url: http://arxiv.org/abs/2610.34915v1
Date: Mon, 26 Oct 2026 06:41:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 22:27:13.774244
Title: End-to-End MXFP8 Reinforcement Learning on Blackwell: What Matching Buys, When It Pays Off, and How It Fails
Title（参考訳）: BlackwellのMXFP8強化学習:何を買うか、お金を払うか、どのように失敗するか
Abstract要約: 低精度算術は強化学習を安くすることができる。いくつかのフレームワークがFP8を両サイドで実行できるようになった。エンドツーエンドのMXFP8 RLをverlで実装する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-precision arithmetic can make reinforcement learning (RL) for large language models cheaper, but RL requires the sampler and the learner to agree. Several frameworks now run FP8 on both sides. We implement end-to-end MXFP8 RL in verl (Megatron/Transformer Engine training; vLLM and SGLang rollout; dense and MoE models) and measure on B200 GPUs, with Qwen3-8B and Qwen3-30B-A3B, what this design buys, when it is faster, and how it fails. (1) Matching. For an MXFP8 learner, a sampler on the learner's grid is more consistent than a higher-precision BF16 sampler: in one engine at fixed weights, train-rollout KL is 11% lower with half of the sampler's linear layers on the grid and 16% lower with all of them, and the synchronized weights we checked equal the learner's FP8 forward weights byte for byte. On the MoE model, an FP8 pipeline whose sampler uses another grid has twice the shared-grid pipeline's KL from the first step. Without a quantized KV cache, BF16 end to end remains 2.5-10x more consistent. (2) Speed. MXFP8 training adds a fixed cost per micro-batch and saves a per-token cost, so in our dense setting it pays off only above about 4.5k tokens per micro-batch; a micro-batch sweep on identical data confirms the per-micro-batch cost, and a trace shows the GPU waiting for the host for most of the added time. End to end, MXFP8 cuts MoE step time by 10.7% and generation time by 24%, and slows a short-sequence dense workload by 5%. (3) Correctness. We state seven conditions every weight synchronization must preserve and checks that test them against the live engine. Each of the seven failures we met on hardware broke one condition, five silently; the checks caught two at their first opportunity, each missed by the other checks, and CPU fault-injection tests reproduce five. All runs are single-seed and at most 60 steps long; we make no claim about final model quality.
Abstract（参考訳）: 低精度算術は、大規模言語モデルの強化学習(RL)を安価にすることができるが、RLにはサンプルと学習者が同意する必要がある。いくつかのフレームワークがFP8を両サイドで実行できるようになった。 We implement end-to-end MXFP8 RL in verl (Megatron/Transformer Engine training; vLLM and SGLang rollout; dense and MoE model) and measure on B200 GPUs, with Qwen3-8B and Qwen3-30B-A3B, what the design haves, when it is faster, and how it fails。 1)マッチング。 MXFP8学習者にとって、学習者のグリッド上のサンプルは、より高精度なBF16サンプル機よりも一貫性がある: 固定重量の1つのエンジンでは、列車ロールアウトKLは、グリッド上のサンプルの線形層の半分以下で16%低い。 MoEモデルでは、サンプルが別のグリッドを使用するFP8パイプラインが、最初のステップから2倍の共有グリッドパイプラインのKLを持つ。量子化されたKVキャッシュがなければ、BF16のエンドツーエンドは2.5-10倍の一貫性が保たれる。 (2)スピード。 MXFP8トレーニングでは、マイクロバッチ毎の固定コストが加算され、トーケン毎のコストが削減されるため、当社の密集した設定では、マイクロバッチ毎のトークンは約4.5kを超え、同一データ上のマイクロバッチスイープがマイクロバッチ毎のコストを確認し、トレースは追加時間の大半をGPUがホストを待っていることを示している。 MXFP8は、MoEのステップタイムを10.7%削減し、生成時間を24%削減し、短いシーケンシャルなワークロードを5%遅らせる。 (3)正確性。私たちは、すべての重み同期が保存されなければならない7つの条件を述べ、それをライブエンジンに対してテストします。チェックは最初の機会に2つをキャッチし、それぞれが他のチェックに見逃され、CPUのフォールトインジェクションテストは5つを再現しました。すべての実行はシングルシードで、少なくとも60ステップの長さです。

論文の概要: End-to-End MXFP8 Reinforcement Learning on Blackwell: What Matching Buys, When It Pays Off, and How It Fails

関連論文リスト