論文の概要: Format-Aware Fusion for Fast FP4 Pretraining
- arxiv url: http://arxiv.org/abs/2610.00053v1
- Date: Fri, 04 Sep 2026 00:42:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.333939
- Title: Format-Aware Fusion for Fast FP4 Pretraining
- Title（参考訳）: 高速FP4プレトレーニングのためのフォーマット対応核融合
- Abstract要約: 本稿では,各量子化プロデューサのスケールドメインとコンシューマレイアウトを共同設計したEmphformat-aware fusionを提案する。
我々は、bfloat16出力プロジェクションとコンパイルされたクロスエントロピーを用いて、Llama-3ファミリー8Bを160億トークンで事前訓練した。
- 参考スコア（独自算出の注目度）: 4.560316459247797
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Four-bit floating-point (FP4) Tensor Cores accelerate matrix multiplication, but scale computation, operand packing, layout construction, and saved backward state can erase the gain. We present \emph{format-aware fusion}, which co-designs each quantization producer with its scale domain and consumer layout for native \mxfp{}, global \nvfp{}, and cooperative-thread-array-local \nvfp{}. We evaluate Llama-3-family 8B pretraining through 160 billion tokens using bfloat16 output projections and compiled cross entropy. In matched same-accelerator probes, bfloat16 and Transformer Engine \nvfp{} reach 18.8K and 27.6K tokens/s/GPU, while our fastest custom route reaches 37.9K. \mxfp{} with row-gradient stochastic rounding and fixed-sign 32-value Hadamard weight-gradient preconditioning reaches 37.2K tokens/s/GPU (86.3\% bfloat16 model FLOP utilization) and ends 2.11\% above the raw bfloat16 training-loss endpoint. A Transformer Engine recipe with four final bfloat16 blocks ends 0.87\% above bfloat16 at 27.1K tokens/s/GPU. Downstream rankings differ from training-loss rankings, showing that FP4 outcomes depend jointly on scale contract, operand, and execution path.
- Abstract（参考訳）: 4ビット浮動小数点 (FP4) テンソルコアは行列乗算を加速するが、スケール計算、オペランドパッキング、レイアウト構成、保存された後方状態はゲインを消すことができる。
本稿では、各量子化プロデューサを、そのスケールドメインと、ネイティブな \mxfp{} と、グローバルな \nvfp{} と、協調的スレッドアレイローカルな \nvfp{} のコンシューマレイアウトで、共設計する。
我々は、bfloat16出力プロジェクションとコンパイルされたクロスエントロピーを用いて、Llama-3ファミリー8Bを160億トークンで事前訓練した。
一致した同加速器プローブでは、bfloat16とTransformer Engine \nvfp{}が18.8K、27.6Kトークン/s/GPUに到達し、私たちの最速のカスタムルートは37.9Kに達した。
行順の確率的ラウンドリングと固定符号32値のアダマール重み付きプレコンディショニングを持つ \mxfp{} は37.2Kトークン/s/GPU (86.3\% bfloat16モデルFLOP利用)に達し、生のbfloat16トレーニングロスエンドポイントより2.11\%高い。
4つの最終bfloat16ブロックを持つTransformer Engineのレシピは、27.1Kトークン/s/GPUでbfloat16より0.87\%高い。
ダウンストリームランキングはトレーニング損失ランキングと異なり、FP4の結果はスケールコントラクト、オペランド、実行パスに大きく依存している。
関連論文リスト
- Hardware-Aware FP4 FlashAttention-4 [4.560316459247797]
Direct-PマップはFP4の確率を直接スコアし、2.13$times$ the bfloat16 (BF16) forward throughput on a NVIDIA GB200に達する。
一致した分散トレーニングは、FP8確率と値を保持し、テストされたMXFP4の確率/値のトレーニング軌道は分岐する。
論文 参考訳（メタデータ） (2026-09-03T17:12:35Z) - UE5M3 FP4 Block Scaling for Stable Language Model Pretraining [6.963061311516306]
NVIDIAのTransformer Engine nvレシピを使用して、約190億トークンのモデルを事前トレーニングします。
Transformer Engine nvと比較して、提案したブロック16レシピは、最終ウィンドウのトレーニング損失が低く、各量子化推論ポリシーの下で、保持された負のログライクな状態として測定された検証損失が低い。
RHTとBF16の最終ブロック免除を共同で除去するネイティブなnv実行アブレーションは、測定されたモデルボディトークンのスループットを21.2%向上させる。
論文 参考訳（メタデータ） (2026-09-02T17:32:07Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Realizing Native INT8 Compute for Diffusion Transformers on Consumer GPUs: A Fused INT8 GEMM Kernel for Ideogram 4.0 [0.08599681538174887]
拡散変圧器の後のINT8(W8A8)量子化は、速度最適化として広く展開されている。
消費者向けのAmpere GPUでは、FP8やNF4よりも遅いことがしばしばある。
われわれはこのギャップをTriton INT8 GEMMで埋める。
したがって、INT8は最も遅い変種から最も速いものへと移行する。
論文 参考訳（メタデータ） (2026-06-12T16:19:03Z) - FP8 is All You Need (Part 2): Efficient Ozaki-Bailey Style FFT Through Tensor-core Garner Reformulation and Kulisch Escape Route [1.5752282186775997]
NVIDIAのBlackwell Ultra (B300)は、FP64ベクターのスループットをGPU当たり1.3TFLOPSに削減している。
Ozaki Scheme IIフレームワークは、FP8テンソルコアを介して高密度行列乗算をルーティングすることで、FP64等価スループットを回復する。
本稿では,第5次標準プリミティブである3次元FFTを付加する。
論文 参考訳（メタデータ） (2026-05-28T03:49:46Z) - Forge-UGC: FX optimization and register-graph engine for universal graph compiler [2.587194279527956]
OpenVINOやONNXのような既存のフレームワークは、しばしば不透明なコンパイルパイプラインを使用する。
Forge-UGCは、グラフキャプチャ、最適化、中間表現の低下、バックエンドスケジューリングを分離するハードウェアに依存しない設計でこの問題に対処する。
論文 参考訳（メタデータ） (2026-04-14T04:39:16Z) - SlideSparse: Fast and Flexible (2N-2):2N Structured Sparsity [86.71343842875878]
NVIDIAの2:4 Sparse Coresは2倍のスループットを提供するが、厳しい50%のプルーニングを要求する。
Milder $(2N-2):2N$パターンは正確さを維持しながらハードウェアサポートを受けない。
Sparse Coreアクセラレーションをアンロックする最初のシステムであるSlideSparseを紹介する。
論文 参考訳（メタデータ） (2026-03-05T14:49:16Z) - Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。
この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
論文 参考訳（メタデータ） (2025-10-23T14:02:34Z) - Speedy MASt3R [68.47052557089631]
MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。
高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。
この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
論文 参考訳（メタデータ） (2025-03-13T03:56:22Z) - FP8 Formats for Deep Learning [49.54015320992368]
2つのエンコーディングからなる8ビット浮動小数点(FP8)バイナリインターチェンジフォーマットを提案する。
E4M3のダイナミックレンジは無限大を表現せず、NaNに対して1つのマティーサビットパターンしか持たないことによって拡張される。
16ビットのトレーニングセッションで達成した結果の質を効果的にマッチングし,FP8フォーマットが様々な画像および言語タスクに対して有効であることを示す。
論文 参考訳（メタデータ） (2022-09-12T17:39:55Z) - 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。
この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。
本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
論文 参考訳（メタデータ） (2021-10-06T15:43:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。