論文の概要: What Matters for NVFP4 Training? A Comparative Study of Low-Precision Pretraining Recipes

• arxiv url: http://arxiv.org/abs/2610.24343v1
• Date: Sat, 17 Oct 2026 00:23:48 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:50:38.679743
• Title: What Matters for NVFP4 Training? A Comparative Study of Low-Precision Pretraining Recipes
• Title（参考訳）: NVFP4トレーニングの課題 : 低精度プレトレーニングレシピの比較研究
• Abstract要約: 大規模言語モデルを4ビット浮動小数点フォーマットで直接訓練することで、スループットとエネルギー効率が大幅に向上する。 近年のNVFP4レシピを中規模で体系的に比較し,最大1Tトークンをトレーニングした高密度8Bおよび30B-A3B MoEモデルを評価した。 そこで本研究では,安定なNVFP4トレーニングを大規模に実施する上での原則に基づく最終レシピを提案する。
• 参考スコア（独自算出の注目度）: 35.36643596280182
• License:
• Abstract: Training large language models directly in 4-bit floating-point (FP) formats promises substantial improvements in throughput and energy efficiency. While some recipe design choices have been validated at scale, many promising approaches remain untested beyond small models and short token horizons, leaving open the question of which trends will hold. We present a systematic comparison of recent NVFP4 recipes at medium model scale, evaluating dense 8B and 30B-A3B MoE models trained for up to 1T tokens, with a focus on which ingredients are necessary for accuracy recovery. We propose a final recipe grounded in the principles behind established stable NVFP4 training at scale, incorporating state-of-the-art techniques such as unbiased gradient estimation with lower quantization error than stochastic rounding. To the best of our knowledge, this is the strongest FP4 training result demonstrated at this scale to date in loss gap to BF16. Through ablation studies, we find that: (i) each technique in the optimized recipe measurably improves loss trajectory, (ii) selective high-precision layers are necessary for recovering accuracy at scale, (iii) not all tensors in the backward pass benefit equally from de-biasing, leaving room to apply complementary error-reduction techniques to the remaining tensors.
• Abstract（参考訳）: 大規模言語モデルを4ビット浮動小数点(FP)フォーマットで直接訓練することは、スループットとエネルギー効率を大幅に向上させる。 いくつかのレシピの設計選択が大規模に検証されているが、多くの有望なアプローチは、小さなモデルや短いトークンの地平線を越えてテストされていない。 近年のNVFP4レシピを中規模で体系的に比較し,最大1Tトークンでトレーニングされた高密度8Bおよび30B-A3B MoEモデルを評価し,どの成分が精度回復に必要かに着目した。 確率的ラウンドリングよりも量子化誤差の低い非バイアス勾配推定などの最先端手法を応用し、安定なNVFP4訓練を大規模に確立した原理に基づく最終レシピを提案する。 私たちの知る限りでは、これはBF16に対する損失ギャップにおいて、この規模で実証された最強のFP4トレーニング結果です。 アブレーション研究を通して、私たちはこう発見しました。 一 最適化されたレシピの各技法が損失軌跡を確実に改善する。 (II)大規模精度回復には選択的高精度層が必要である。 第三に、後続のテンソルは、同様に脱バイアスの恩恵を受け、残りのテンソルに相補的な誤り低減技術を適用する余地を残している。

関連論文リスト

• Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training [84.42814959140664]
  一般的な治療法は混合精度トレーニング(mixed-precision training)であり、コストの制約を保ちながらパフォーマンスを維持するために高い精度をいくつかのレイヤに割り当てる。 本稿では,Q-PACEと呼ばれる2次感度モデルを用いて,各層曲率係数の重み付けによる量子化雑音MSEの和として損失増加を予測する手法を提案する。 最大4BパラメータのLLMの事前トレーニングおよび教師付き微調整実験により、Q-PACEは既存の混合精度トレーニングレシピよりも一貫して改善されていることが示された。
  論文  参考訳（メタデータ） (2026-10-06T22:34:48Z)
• Stable FP4 Training via Transposition-Invariant Block Quantization [14.373963304887754]
  従来の1Dブロック量子化では、前方と後方のパスは変換後に同じ値に誘電性スケーリング因子を割り当てる。 本稿では,2次元ブロックFP4量子化に基づく低精度トレーニングフレームワークを提案する。 提案手法は安定なエンドツーエンドFP4トレーニングを実現し,BF16の性能と密に一致し,パープレキシティと下流精度が1.3%未満に低下した。
  論文  参考訳（メタデータ） (2026-07-27T18:03:34Z)
• TetraJet-v2: Accurate NVFP4 Training for Large Language Models with Oscillation Suppression and Outlier Control [24.897675627585798]
  大規模言語モデル(LLM)トレーニングは違法に高価であり、低精度完全量子化トレーニング(FQT)への関心を喚起している。 我々は,NVFP4をすべての線形層における活性化,重み,勾配に利用した,エンドツーエンドの4ビットFQT法であるTetraJet-v2を紹介する。
  論文  参考訳（メタデータ） (2025-10-31T14:57:16Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Pretraining Large Language Models with NVFP4 [53.235038214986865]
  我々は,NVFP4フォーマットを用いた大規模言語モデル(LLM)の安定かつ高精度な学習手法を提案する。 本手法は,前方と後方の両方で一貫した表現のための2次元量子化方式を統合する。 以上の結果から,NVFP4をベースとしたプレトレーニング技術を用いてトレーニングしたモデルは,FP8ベースラインに匹敵するトレーニング損失とダウンストリームタスクアキュラシーを達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-29T17:53:17Z)
• Towards Efficient Pre-training: Exploring FP4 Precision in Large Language Models [25.700481606604647]
  実験により,我々のFP4トレーニング手法は,理論計算コストを小さくして,BF16とFP8に匹敵する精度を達成できた。 FP4をサポートする次世代ハードウェアの登場に伴い,本手法は効率的な超低精度トレーニングの基礎となる。
  論文  参考訳（メタデータ） (2025-02-17T05:33:11Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• SQuAT: Sharpness- and Quantization-Aware Training for BERT [43.049102196902844]
  シャープネスと量子化アウェアトレーニング(SQuAT)を提案する。 提案手法は,2,3,4ビット条件下で,最先端の量子化BERTモデルよりも1%向上する。 また, シャープネスの測定実験により, 他の量子化法と比較して, より平坦な最小値が得られることが示唆された。
  論文  参考訳（メタデータ） (2022-10-13T16:52:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。