Fugu-MT 論文翻訳(概要): Stable FP4 Training via Transposition-Invariant Block Quantization

論文の概要: Stable FP4 Training via Transposition-Invariant Block Quantization

arxiv url: http://arxiv.org/abs/2607.24953v1
Date: Mon, 27 Jul 2026 18:03:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-29 20:50:42.584071
Title: Stable FP4 Training via Transposition-Invariant Block Quantization
Title（参考訳）: 転移不変ブロック量子化による安定FP4トレーニング
Abstract要約: 従来の1Dブロック量子化では、前方と後方のパスは変換後に同じ値に誘電性スケーリング因子を割り当てる。本稿では,2次元ブロックFP4量子化に基づく低精度トレーニングフレームワークを提案する。提案手法は安定なエンドツーエンドFP4トレーニングを実現し,BF16の性能と密に一致し,パープレキシティと下流精度が1.3%未満に低下した。
参考スコア（独自算出の注目度）: 14.373963304887754
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reducing training precision is a key lever for improving the e ciency of large language model (LLM) training, but pushing beyond FP8 to 4-bit oating point (FP4) remains challenging due to instability during optimization. We identify a fundamental source of this instability in existing microscaling approaches: scale inconsistency induced by tensor transposition. In conventional 1D block quantization, forward and backward passes assign di erent scaling factors to the same values after transposition, leading to biased and unstable gradient updates. To address this issue, we propose a low-precision training framework based on 2D block FP4 quantization, which enforces transposition-invariant scaling and preserves consistency between forward and backward computations. We further combine this with truncation-free scaling and stochastic rounding to control quantization error and maintain unbiased gradients. To handle the sensitivity of attention mechanisms, we adopt MXFP8 quantization for query and key projections, yielding a practical mixed-precision design. We evaluate our method on dense LLMs up to 7B parameters and a 30B Mixture-of-Experts model, trained on up to 100B tokens. Across all settings, our approach achieves stable end-to-end FP4 training and closely matches BF16 performance, with less than 1.3% degradation in perplexity and downstream accuracy. These results demonstrate that enforcing forwardbackward scaling consistency is su cient to enable practical FP4 training at scale, providing a simple and e ective pathway toward more e cient LLM training.
Abstract（参考訳）: トレーニング精度の低減は、大規模言語モデル(LLM)トレーニングの効率を向上させるための鍵となるレバーであるが、最適化中の不安定さのため、FP8からFP4へのプッシュは依然として困難である。既存のマイクロスケーリングアプローチにおけるこの不安定性の根源は,テンソル転移によるスケール不整合である。従来の1Dブロック量子化では、前方と後方のパスは、蒸着後に同じ値にジエレントスケーリング因子を割り当て、バイアスと不安定な勾配更新をもたらす。この問題に対処するために,2次元ブロックFP4量子化に基づく低精度トレーニングフレームワークを提案する。さらに、これをトランケーションフリーなスケーリングと確率的ラウンドリングと組み合わせて量子化誤差を制御し、偏りのない勾配を維持する。注意機構の感度に対処するため、クエリとキープロジェクションにMXFP8量子化を導入し、実用的な混合精度設計を実現した。提案手法は, 最大7Bパラメータと最大100Bトークンをトレーニングした30Bmixture-of-Expertsモデルで評価した。全ての設定において,本手法は安定なエンドツーエンドFP4トレーニングを実現し,BF16の性能と密に一致し,パープレキシティと下流精度が1.3%未満に低下した。以上の結果から,前向きのスケール一貫性を強制することは,FP4の実践的な訓練を大規模に実現し,より先進的なLLMトレーニングへのシンプルかつエクティヴな経路を提供するのに有用であることが示唆された。

関連論文リスト

On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文参考訳（メタデータ） (2026-08-31T06:35:07Z)
Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention [34.07319488267708]
最近のNVFP4事前学習法は主に変圧器線形層を対象としており、4ビットパイプラインで探索された計算状態、算術的および注意点を残している。この臨界ギャップは、3つのコアモジュールがユニークな数値的な故障パターンを示すため、安定なフルスタック4ビットプリトレーニングをブロックする。 3つの安定性ボトルネックをすべて解決した最初の完全NVFP4事前学習フレームワークであるFull-Stack FP4を提案する。
論文参考訳（メタデータ） (2026-07-05T17:31:36Z)
ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization [40.425536766574844]
NVFP4量子化のための単純かつ効率的なスケール最適化法としてScaleSweepを提案する。 LlamaとQwenの実験では、ScaleSweepは量子化性能を一貫して改善している。特に、重み、アクティベーション、KVキャッシュ、クエリ状態の積極的なエンドツーエンド量子化の下では、ScaleSweepは完全な精度性能の93%以上を保っている。
論文参考訳（メタデータ） (2026-05-30T08:26:16Z)
SOAR: Scale Optimization for Accurate Reconstruction in NVFP4 Quantization [19.022444007775896]
NVFP4は、最近、大規模言語モデルの効率的な4ビットマイクロスケーリングフォーマットとして登場した。既存の方法は、しばしば、柔軟性のないスケールの選択と、量子化と量子化のスケールの併用による、最適以下の性能をもたらす。 NVFP4量子化の精度を向上する新しい学習後量子化フレームワークであるSOAR(Scale Optimization for Accurate Reconstruction)を提案する。
論文参考訳（メタデータ） (2026-05-12T15:13:18Z)
CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
論文参考訳（メタデータ） (2025-10-21T16:33:57Z)
Pretraining Large Language Models with NVFP4 [53.235038214986865]
我々は,NVFP4フォーマットを用いた大規模言語モデル(LLM)の安定かつ高精度な学習手法を提案する。本手法は,前方と後方の両方で一貫した表現のための2次元量子化方式を統合する。以上の結果から,NVFP4をベースとしたプレトレーニング技術を用いてトレーニングしたモデルは,FP8ベースラインに匹敵するトレーニング損失とダウンストリームタスクアキュラシーを達成できることが示唆された。
論文参考訳（メタデータ） (2025-09-29T17:53:17Z)
Towards Efficient Pre-training: Exploring FP4 Precision in Large Language Models [25.700481606604647]
実験により,我々のFP4トレーニング手法は,理論計算コストを小さくして,BF16とFP8に匹敵する精度を達成できた。 FP4をサポートする次世代ハードウェアの登場に伴い,本手法は効率的な超低精度トレーニングの基礎となる。
論文参考訳（メタデータ） (2025-02-17T05:33:11Z)
Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
論文参考訳（メタデータ） (2025-01-28T18:04:50Z)
GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
論文参考訳（メタデータ） (2024-12-07T06:07:21Z)
AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文参考訳（メタデータ） (2024-03-19T08:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。