論文の概要: FP4 All the Way: Fully Quantized Training of LLMs

• arxiv url: http://arxiv.org/abs/2505.19115v2
• Date: Sun, 10 Aug 2025 07:10:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 16:55:52.857922
• Title: FP4 All the Way: Fully Quantized Training of LLMs
• Title（参考訳）: FP4:LLMの完全量子化トレーニング
• Authors: Brian Chmiel, Maxim Fishman, Ron Banner, Daniel Soudry,
• Abstract要約: 主に4ビット浮動小数点(FP4)の精度を用いて,大規模言語モデル(LLM)の完全量子化訓練(FQT)を実演する。 ブロックサイズ,スケーリングフォーマット,ラウンドメソッドなど,FP4の主要な設計選択について検討する。
• 参考スコア（独自算出の注目度）: 26.195547788434908
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We demonstrate, for the first time, fully quantized training (FQT) of large language models (LLMs) using predominantly 4-bit floating-point (FP4) precision for weights, activations, and gradients on datasets up to 200 billion tokens. We extensively investigate key design choices for FP4, including block sizes, scaling formats, and rounding methods. Our analysis shows that the NVFP4 format, where each block of 16 FP4 values (E2M1) shares a scale represented in E4M3, provides optimal results. We use stochastic rounding for backward and update passes and round-to-nearest for the forward pass to enhance stability. Additionally, we identify a theoretical and empirical threshold for effective quantized training: when the gradient norm falls below approximately $\sqrt{3}$ times the quantization noise, quantized training becomes less effective. Leveraging these insights, we successfully train a 7-billion-parameter model on 256 Intel Gaudi2 accelerators. The resulting FP4-trained model achieves downstream task performance comparable to a standard BF16 baseline, confirming that FP4 training is a practical and highly efficient approach for large-scale LLM training. A reference implementation is supplied in https://github.com/Anonymous1252022/fp4-all-the-way .
• Abstract（参考訳）: 4ビット浮動小数点(FP4)の精度を最大200億個のトークンの重み、アクティベーション、勾配に用いた大規模言語モデル(LLM)の完全量子化トレーニング(FQT)を初めて実証した。 ブロックサイズ,スケーリングフォーマット,ラウンドリングメソッドなど,FP4の主要な設計選択を幅広く検討する。 解析の結果,16個のFP4値(E2M1)の各ブロックがE4M3で表されるスケールを共有するNVFP4形式が最適であることがわかった。 後方進入には確率的ラウンドリング,前方進入にはラウンド・トゥ・アレストを用い,安定性を向上した。 勾配ノルムが約$\sqrt{3}$以下になると、量子化学習はより効果的になる。 これらの知見を活用して、256のIntel Gaudi2アクセラレータ上で7ビリオンパラメータモデルをトレーニングすることに成功しました。 結果として得られたFP4トレーニングモデルは、標準的なBF16ベースラインに匹敵するダウンストリームタスク性能を実現し、FP4トレーニングが大規模LLMトレーニングの実用的で高効率なアプローチであることを確認した。 リファレンス実装はhttps://github.com/Anonymous1252022/fp4-all-the-way で提供される。

関連論文リスト

• Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation [40.140261007984215]
  我々は,NVFP4における量子化学習のための技術の現状を,マイクロスケールフォーマットのための新しい非バイアス量子化ルーチンによって改善する。 解析学的に、Quartet II はすべての行列乗法において一貫したより良い勾配推定を達成できることを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:39:11Z)
• Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling [13.357423392911036]
  NVFP4量子化アルゴリズムを改良したFour Over Six (4/6)を導入する。 いくつかのブロックに対して、より小さなFP4値へのスケーリングは、表現可能な値の分布をより均一にする。 また,4/6は,多くの学習後量子化手法に容易に組み込むことができ,一般に下流の精度が向上することがわかった。
  論文  参考訳（メタデータ） (2025-12-01T18:59:45Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• Pretraining Large Language Models with NVFP4 [53.235038214986865]
  我々は,NVFP4フォーマットを用いた大規模言語モデル(LLM)の安定かつ高精度な学習手法を提案する。 本手法は,前方と後方の両方で一貫した表現のための2次元量子化方式を統合する。 以上の結果から,NVFP4をベースとしたプレトレーニング技術を用いてトレーニングしたモデルは,FP8ベースラインに匹敵するトレーニング損失とダウンストリームタスクアキュラシーを達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-29T17:53:17Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• MiniCPM4: Ultra-Efficient LLMs on End Devices [124.73631357883228]
  MiniCPM4は、エンドサイドデバイス向けに明示的に設計された高効率な大規模言語モデル(LLM)である。 この効率性は、モデルアーキテクチャ、トレーニングデータ、トレーニングアルゴリズム、推論システムという4つの重要な側面において、体系的な革新を通じて達成します。 MiniCPM4は、それぞれ0.5Bと8Bのパラメータを持つ2つのバージョンで利用可能である。
  論文  参考訳（メタデータ） (2025-06-09T16:16:50Z)
• Quartet: Native FP4 Training Can Be Optimal for Large Language Models [27.800012997794987]
  低精度算術でのトレーニングモデルは、計算スループットとエネルギー効率の両方を改善することで解決策を提供する。 NVIDIAの最近のBlackwellアーキテクチャは、非常に低精度な操作、特にFP4のバリエーションを促進し、実質的な効率向上を約束している。 提案手法は,FP4ベーストレーニングが標準精度とFP8トレーニングの代替となることを示す。
  論文  参考訳（メタデータ） (2025-05-20T17:55:50Z)
• Gaussian Weight Sampling for Scalable, Efficient and Stable Pseudo-Quantization Training [5.908471365011943]
  PQT(Pseudo-quantization Training)は、完全量子化トレーニング(FQT)の課題に対処する。 我々は,最大1Bパラメータと300Bトークンを有するGPT2およびLlama2モデルの事前学習中に,重量サンプリングを伴うPQTが(3)安定であることを示す。
  論文  参考訳（メタデータ） (2025-05-16T12:14:12Z)
• ML-SpecQD: Multi-Level Speculative Decoding with Quantized Drafts [79.62448915248926]
  16ビットモデル推論の精度を犠牲にすることなくLSM推論を高速化する手法として、投機復号法(SD)が登場した。 MXFP4Weight-Only-Quantization (WOQ)は、単にBF16ターゲットモデルの重みをMXFP4に直接キャストするだけなので、MXFP4モデルをプラグアンドプレイ方式でドラフトとして使用することを提案する。 私たちのプラグアンドプレイソリューションでは,BF16ベースラインの最大2倍のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2025-03-17T08:38:45Z)
• Towards Efficient Pre-training: Exploring FP4 Precision in Large Language Models [25.700481606604647]
  実験により,我々のFP4トレーニング手法は,理論計算コストを小さくして,BF16とFP8に匹敵する精度を達成できた。 FP4をサポートする次世代ハードウェアの登場に伴い,本手法は効率的な超低精度トレーニングの基礎となる。
  論文  参考訳（メタデータ） (2025-02-17T05:33:11Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• Scaling Laws for Floating Point Quantization Training [47.174957621592775]
  本稿では、FP量子化目標、指数ビット、マティーサビットの影響と、LLMモデルのFP量子化訓練性能におけるスケーリング係数の計算について検討する。 ハードウェアメーカーが将来参照できるビット数に対して最適な指数-行列ビット比を提供する。
  論文  参考訳（メタデータ） (2025-01-05T02:30:41Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• FP8-LM: Training FP8 Large Language Models [47.17804713425323]
  本稿では,大規模言語モデルの学習のためのFP8自動混合精度フレームワークを提案する。 実験の結果,H100 GPUプラットフォーム上でのGPT-175Bモデルのトレーニングにおいて,我々のFP8混合精度トレーニングフレームワークは,実際のメモリ使用量の39%削減だけでなく,広く採用されているBF16フレームワークよりも75%高速に動作したことがわかった。
  論文  参考訳（メタデータ） (2023-10-27T17:59:51Z)
• LLM-FP4: 4-Bit Floating-Point Quantized Transformers [38.23587031169402]
  大規模言語モデル(LLM)における重みとアクティベーションを4ビット浮動小数点値まで定量化するLLM-FP4を提案する。 整数量子化と比較すると、浮動小数点(FP)量子化はより柔軟であり、長い尾や鐘のような分布を扱うことができる。 LLaMA-13Bの重みとアクティベーションの両方を4ビットに定量化し,平均スコア63.1を得る。
  論文  参考訳（メタデータ） (2023-10-25T17:59:32Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。