論文の概要: Towards Full Pipeline FP8 Reinforcement Learning for LLMs

• arxiv url: http://arxiv.org/abs/2609.22870v1
• Date: Sat, 19 Sep 2026 08:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.577927
• Title: Towards Full Pipeline FP8 Reinforcement Learning for LLMs
• Title（参考訳）: LLMのフルパイプラインFP8強化学習に向けて
• Abstract要約: 強化学習(RL)は,大規模言語モデル(LLM)の推論とエージェント能力向上の鍵となる技術となっている。 フルピペリンFP8 RLは依然として厳しい訓練不安定性に悩まされており、訓練中のエントロピーサージとニンブルド出力の異常として現れる。 本稿では,FP8クリッピング境界を高精度なBF16分布に整列させる動的手法Calibrated Clippingを提案する。
• 参考スコア（独自算出の注目度）: 9.01763380039133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has become a key technique for improving the reasoning and agentic abilities of large language models (LLMs). Although FP8 quantization can accelerate RL training, maintaining stability throughout an FP8 RL pipeline remains challenging. While previous works have focused on resolving train-inference mismatches using correction techniques like TIS, we reveal that full-pipeline FP8 RL still suffers from severe training instability, manifesting as anomalous mid-training entropy surges and garbled outputs. We trace this instability to a previously overlooked cause: compounded FP8 quantization noise distorts the importance ratio, disproportionately pushing negative-advantage tokens outside the trust region and erroneously zeroing out their gradients. As a result, pathological outputs are not properly penalized and accumulate over the course of training. To address this, we propose Calibrated Clipping, a dynamic method that aligns the FP8 clipping bounds with high-precision BF16 distributions by matching the lower-bound clipping quantile and rebalancing the upper bound accordingly. Extensive experiments across GRPO and DAPO algorithms, model scales from 8B to 32B, and multiple FP8 scaling granularities demonstrate that our approach successfully eliminates entropy surges and restores performance comparable to the BF16 baseline.
• Abstract（参考訳）: 強化学習(RL)は,大規模言語モデル(LLM)の推論とエージェント能力向上の鍵となる技術となっている。 FP8量子化はRLトレーニングを加速させるが、FP8 RLパイプライン全体の安定性を維持することは依然として困難である。 TISなどの補正技術を用いた列車干渉ミスマッチの解消に焦点が当てられているが、フルパイプFP8 RLは依然として厳しい訓練不安定性に悩まされており、トレーニング中のエントロピーサージやガーブラードアウトプットの異常として現れている。 合成されたFP8量子化ノイズは、重要度を歪め、不均等に負のアドバンテージトークンを信頼領域の外に押し出し、その勾配を誤ってゼロにする。 結果として、病理的アウトプットは、トレーニングの過程で適切に罰せられず、蓄積される。 そこで我々は,FP8クリッピング境界と高精度なBF16分布を一致させる動的手法Calibrated Clippingを提案する。 GRPO および DAPO アルゴリズム,モデルスケール 8B から 32B への拡張実験,および複数の FP8 スケーリングの粒度は,我々の手法がエントロピーサージをうまく除去し,BF16 ベースラインに匹敵する性能を回復することを示した。

関連論文リスト

• AIS: Adaptive Importance Sampling for Quantized RL [21.387834718338496]
  大規模言語モデル(LLM)の強化学習はロールアウト生成のコストに支配されている。 これは、ロールアウトトレーニングミスマッチを導入し、ポリシー勾配を偏り、推論ベンチマークでトレーニングが完全に崩壊する可能性がある。 このミスマッチは非定常的であり、二重刃の剣として機能し、初期のトレーニングでは探索ボーナスを提供し、トレーナーがアンダーサンプするトラジェクトリーへの勾配を露呈する。 本稿では,適応的重要度サンプリング(AIS)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T03:36:57Z)
• FP8-RL: A Practical and Stable Low-Precision Stack for LLM Reinforcement Learning [12.855945066222743]
  本稿では,大規模言語モデル(LLM)のための実用的なFP8ロールアウトスタックを提案する。 i)ブロックワイズFP8量子化を用いてFP8 W8A8リニア層ロールアウトを実現し、(ii)FP8をKVキャッシュに拡張して長文メモリボトルネックを解消し、(iii)重要度に基づくロールアウト補正によるミスマッチを緩和する。 高密度モデルとMoEモデル全体で、これらのテクニックは、BF16ベースラインに匹敵する学習行動を保ちながら、最大44%のロールアウトスループットゲインを提供する。
  論文  参考訳（メタデータ） (2026-01-26T05:12:05Z)
• Jet-RL: Enabling On-Policy FP8 Reinforcement Learning with Unified Training and Rollout Precision Flow [48.48936574810267]
  本研究は,FP8 RLトレーニングの総合的研究である。 安定かつ堅牢なRL最適化を実現するFP8 RLトレーニングフレームワークであるJet-RLを提案する。
  論文  参考訳（メタデータ） (2026-01-20T18:54:31Z)
• InfiR2: A Comprehensive FP8 Training Recipe for Reasoning-Enhanced Language Models [34.21089641502727]
  本稿では、連続的な事前学習と教師付き微調整をシームレスに統合するエンドツーエンドのFP8トレーニングレシピを提案する。 我々は,FP8をBF16の実用的で堅牢な代替品として確立し,大規模モデルトレーニングをさらに民主化するためのコードをリリースする。
  論文  参考訳（メタデータ） (2025-09-26T16:16:49Z)
• Towards Fully FP8 GEMM LLM Training at Scale [77.97607456493257]
  既存のアプローチは、しばしば最適化されたFP8カーネルに依存するか、より高精度な行列乗算に回帰する。 本稿では, トランスブロック内のすべてのGEMMに対して, 前方および後方の両方でFP8計算をサポートする新しいLLMアーキテクチャを提案する。 これにより、特に大規模では、標準的なBF16トレーニングのダウンストリームパフォーマンスにマッチしながら、前例のないスループット向上が可能になる。
  論文  参考訳（メタデータ） (2025-05-26T21:04:14Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。