論文の概要: FourSight: Stable FP4 RL Post-Training via Sequence Filtering and Sparse Channel Compensation

• arxiv url: http://arxiv.org/abs/2611.04887v1
• Date: Tue, 03 Nov 2026 13:33:46 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:32:05.125284
• Title: FourSight: Stable FP4 RL Post-Training via Sequence Filtering and Sparse Channel Compensation
• Title（参考訳）: FourSight: シークエンスフィルタリングとスパースチャネル補償による安定したFP4 RL後処理
• Abstract要約: 本稿では、強化学習後学習のための2つのターゲットソリューションを備えたアルゴリズムシステムの共同設計であるFourSightを紹介する。 FourSightはBF16の精度とFP4の配置品質を保ち、Step-to-accuracyを1.76-2.60xに改善し、FP4のステップタイムを120Bスケールまで2.3%に抑える。
• 参考スコア（独自算出の注目度）: 11.802356708221419
• License:
• Abstract: Reinforcement learning (RL) post-training increasingly targets low-bit deployment, with NVFP4 weight-and activation quantization (W4A4) becoming the state-of-the-practice format. However, integrating NVFP4 into RL degrades rollout quality and amplifies cross-engine training-inference mismatch (TIM), destabilizing training. We show that these failures are concentrated rather than uniform - severely mismatched tail tokens concentrate in a few outlier sequences, while policy weights remain largely intact and quantization error concentrates in a few high-variance activation channels. Guided by this, we present FourSight, an algorithm-system co-design with two targeted solutions: TIM-aware sequence filtering that excludes drifted trajectories from policy updates, and sparse precision compensation that keeps only top-variance channels in BF16 while retaining native NVFP4 elsewhere. We further design a fused SpliceGEMM kernel with specialized prefill and decode datapaths to minimize overhead. FourSight sustains near-BF16 accuracy and strong FP4 deployment quality across models and engines, while improving step-to-accuracy by 1.76-2.60x and staying within 2.3% of FP4 step time up to 120B-scale models.
• Abstract（参考訳）: 強化学習(RL)は、NVFP4重みとアクティベーションの量子化(W4A4)が最先端のフォーマットになるなど、低ビット展開を目標にしている。 しかし、NVFP4をRLに統合するとロールアウトの品質が低下し、クロスエンジントレーニング-推論ミスマッチ(TIM)が増幅され、トレーニングが不安定になる。 これらの故障は均一ではなく集中しており、非常にミスマッチしたテールトークンはいくつかの外れ値列に集中しており、一方でポリシーの重みは大部分が無傷であり、量子化誤差はいくつかの高分散活性化チャネルに集中している。 そこで本研究では,TIMを意識したシーケンスフィルタリングをポリシー更新から除外するアルゴリズム設計のFourSightと,ネイティブなNVFP4を維持しながら,BF16におけるトップ分散チャネルのみを保持するスパース精度補償の2つを紹介する。 さらに、オーバーヘッドを最小限に抑えるために、特別なプリフィルとデコードを持つ、融合したSpliceGEMMカーネルを設計する。 FourSightはBF16の精度とFP4の配置品質を保ち、Step-to-accuracyを1.76-2.60xに改善し、FP4のステップタイムを120Bスケールまで2.3%に抑える。

関連論文リスト

• HiFloat4 Format for End-To-End Reinforcement Learning Post-Training of Large Language Models [9.149747042283197]
  本報告では,FP4RLのロールアウトとトレーニングポリシの両方を4ビット精度で動作させる,最初のエンドツーエンドのポストトレーニングについて述べる。 軽量な修正であるRollout-ResQは、ロールアウトの計算フットプリントを膨らませることなく、アウトリア駆動のアンダーフローに損失した精度の大部分を回復する。
  論文  参考訳（メタデータ） (2026-07-29T06:28:26Z)
• QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides [26.939321070753607]
  ロールアウト生成は、Mixture-of-Experts(MoE)大規模言語モデルのための強化学習において、大きなボトルネックとなる。 そこで本稿では,NVFP4 RL の安定化を図るため,QUantization-error Alignment across Dual Sides (QUADS)を提案する。 QUIDSはBF16レベルの精度を実現し、NVFP4 RLよりも平均パス@1を21.49ポイント改善し、FP8よりも16%高いロールアウトスループットを提供する。
  論文  参考訳（メタデータ） (2026-07-17T10:21:27Z)
• FourTune: Towards Fully 4-Bit Efficient Post-Training for Diffusion Models [50.66675248468456]
  FourTuneは、エンドツーエンドのW4A4G4パラダイムに基づいた拡散モデルのための効率的な後トレーニングフレームワークである。 FourTuneはメモリオーバーヘッドを2.25$times$に減らし、エンドツーエンドのトレーニングスループットをBF16 LoRAと比較して2.27$times$にする。
  論文  参考訳（メタデータ） (2026-07-07T00:34:30Z)
• Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention [34.07319488267708]
  最近のNVFP4事前学習法は主に変圧器線形層を対象としており、4ビットパイプラインで探索された計算状態、算術的および注意点を残している。 この臨界ギャップは、3つのコアモジュールがユニークな数値的な故障パターンを示すため、安定なフルスタック4ビットプリトレーニングをブロックする。 3つの安定性ボトルネックをすべて解決した最初の完全NVFP4事前学習フレームワークであるFull-Stack FP4を提案する。
  論文  参考訳（メタデータ） (2026-07-05T17:31:36Z)
• SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference [4.219937026460372]
  SharQは、オンラインスパース-デンス分解による活性化空間とFP4量子化を橋渡しする。 スパースFP4 GEMMはバックボーンを処理し、密度の高いFP4 GEMMはマスク誘起活性化損失とスパースパス量子化誤差の両方を補償する。
  論文  参考訳（メタデータ） (2026-06-25T04:19:04Z)
• ReQAT: Achieving Full-Precision Reasoning Accuracy with 4-bit Floating-Point Quantization-Aware Training [12.549469252572079]
  大規模推論モデル(LRM)は、長いチェーン・オブ・シークレットを通じて強力な問題解決を実現する。 LRMは、完全精度推論とKVキャッシュフットプリントの増大によるコストの高い制約を受ける。 3つのコンポーネントを持つ推論中心のFP4トレーニングフレームワークであるReQATを提案する。
  論文  参考訳（メタデータ） (2026-06-14T09:00:06Z)
• Dissecting Outlier Dynamics in LLM NVFP4 Pretraining [46.10969678564592]
  本研究は,NVFP4プレトレーニング中におけるアーキテクチャ内外層力学の経時的解析を行う。 我々は、Softmax Attention (SA) と比較して、Linear Attention (LA) はテンソルあたりの重みを減少させるが、ブロック量子化の下ではブロックレベルのスパイクが持続することを示した。 次に,NVFP4のトレーニングレシピであるCHONを開発し,QK後の操作保護と統合した。
  論文  参考訳（メタデータ） (2026-02-02T12:50:27Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。