Fugu-MT 論文翻訳(概要): Hardware-Aware FP4 FlashAttention-4

論文の概要: Hardware-Aware FP4 FlashAttention-4

arxiv url: http://arxiv.org/abs/2609.04105v1
Date: Thu, 03 Sep 2026 17:12:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-04 18:28:39.164264
Title: Hardware-Aware FP4 FlashAttention-4
Title（参考訳）: ハードウェア対応FP4フラッシュアテンション-4
Abstract要約: Direct-PマップはFP4の確率を直接スコアし、2.13$times$ the bfloat16 (BF16) forward throughput on a NVIDIA GB200に達する。一致した分散トレーニングは、FP8確率と値を保持し、テストされたMXFP4の確率/値のトレーニング軌道は分岐する。
参考スコア（独自算出の注目度）: 4.560316459247797
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Blackwell's 4-bit floating-point (FP4) tensor cores do not automatically make attention faster because softmax conversion and on-chip dependencies dominate once its matrix products shrink. We address this with \emph{Direct-P} for noncausal inference and a causal path that passes the forward quantization directly into backward. Direct-P maps scores directly to FP4 probabilities and reaches up to 2.13$\times$ the bfloat16 (BF16) forward throughput on an NVIDIA GB200. The causal path reconstructs probabilities from saved quantized queries and keys and uses 8-bit floating-point (FP8) gradient operands, accelerating a complete single-GPU 8-billion-parameter update by up to 1.14$\times$. Matched distributed training retains FP8 probabilities and values; every tested MXFP4 probability/value training trajectory diverges.
Abstract（参考訳）: ブラックウェルの4ビット浮動小数点 (FP4) テンソルコアは、ソフトマックス変換とオンチップ依存が行列積が縮まると支配的になるため、自動的に注目されることはない。非因果推論に対して \emph{Direct-P} を用いてこの問題に対処し、前方量子化を直接後方に渡す因果経路について述べる。直接PマップはFP4確率に直接スコアを付け、NVIDIA GB200で2.13$\times$ the bfloat16 (BF16)前方スループットに達する。因果経路は、保存された量子化クエリとキーから確率を再構築し、8ビット浮動小数点(FP8)勾配オペランドを使用し、完全なシングルGPU 8ビリオンパラメータの更新を最大1.14$\times$まで加速する。一致した分散トレーニングは、FP8確率と値を保持し、テストされたMXFP4の確率/値のトレーニング軌道は分岐する。

関連論文リスト

VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。 V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
論文参考訳（メタデータ） (2026-09-14T16:17:35Z)
EFQ-Softmax: Exp-Free Quantization for Softmax [3.5456060266135734]
低ビットアテンションは、$QKtop$と$PV$の行列乗算をFP8またはFP4マトリクスエンジンに移動させることでトランスフォーマー推論を加速させる。ソフトマックスパスはしばしばシフトスコア指数を高い精度で評価し、一時的な確率ブロックを形成し、低ビット$PV$乗算の前に量子化する。ブロックスケールのE2M1オペランドに注目スコアを直接マップする低ビット確率生成法EFQ-Softmaxを提案する。
論文参考訳（メタデータ） (2026-09-09T05:04:33Z)
LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation [84.86814271505109]
LongLive-2.0は、長いビデオ生成の完全なトレーニングと推論ワークフロー全体を通じて、NVFP4ベースの並列インフラストラクチャである。トレーニングには,quence-parallel autoregressive (AR) トレーニングを導入する。実験ではトレーニングで2.15倍、推論で1.84倍のスピードアップを示す。
論文参考訳（メタデータ） (2026-05-18T17:57:03Z)
Pretraining large language models with MXFP4 on Native FP4 Hardware [6.139566055770847]
我々は,前向きのアクティベーションやアクティベーション勾配が安定している場合でも,大規模言語モデルのフルパイプFP4トレーニングがしばしば分岐する理由を考察する。その結果,FP4トレーニングの不安定性は,過度な直感性ではなく,敏感な勾配経路に沿った構造的マイクロスケーリング誤差によって引き起こされることがわかった。
論文参考訳（メタデータ） (2026-05-11T00:04:07Z)
SlideSparse: Fast and Flexible (2N-2):2N Structured Sparsity [86.71343842875878]
NVIDIAの2:4 Sparse Coresは2倍のスループットを提供するが、厳しい50%のプルーニングを要求する。 Milder $(2N-2):2N$パターンは正確さを維持しながらハードウェアサポートを受けない。 Sparse Coreアクセラレーションをアンロックする最初のシステムであるSlideSparseを紹介する。
論文参考訳（メタデータ） (2026-03-05T14:49:16Z)
Practical FP4 Training for Large-Scale MoE Models on Hopper GPUs [2.576131688630686]
大規模なMixture-of-Experts(MoE)モデルのトレーニングは、アクティベーションメモリとエキスパート-並列通信によってボトルネックとなる。 4ビットのネイティブサポートを伴わないHopper上でMoEモデルのMXFP4効率を実現するためのトレーニングレシピを提案する。
論文参考訳（メタデータ） (2026-03-03T08:29:19Z)
Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling [13.357423392911036]
NVFP4量子化アルゴリズムを改良したFour Over Six (4/6)を導入する。いくつかのブロックに対して、より小さなFP4値へのスケーリングは、表現可能な値の分布をより均一にする。また,4/6は,多くの学習後量子化手法に容易に組み込むことができ,一般に下流の精度が向上することがわかった。
論文参考訳（メタデータ） (2025-12-01T18:59:45Z)
INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
論文参考訳（メタデータ） (2025-10-29T15:11:53Z)
Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
論文参考訳（メタデータ） (2025-10-23T14:02:34Z)
Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
論文参考訳（メタデータ） (2025-09-27T09:22:21Z)
Training LLMs with MXFP4 [16.524414449291488]
サポート対象ハードウェアのFP8よりも2倍高速なMXFP4 GEMMを用いた,最初のニアロスレストレーニングレシピを提示する。我々のレシピでは、MXFP4のトレーニングFLOPを1/2$で計算し、バックプロパゲーション時に、FP8よりも$1.3times$、BF16より$1.7times$と見積もることができる。
論文参考訳（メタデータ） (2025-02-27T23:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。