論文の概要: FuTransformer: FP8 prefill and INT4 decode for Llama-style inference on Hopper
- arxiv url: http://arxiv.org/abs/2610.23796v1
- Date: Fri, 16 Oct 2026 17:22:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:08.036293
- Title: FuTransformer: FP8 prefill and INT4 decode for Llama-style inference on Hopper
- Title（参考訳）: FuTransformer: Hopper上のLlamaスタイルの推論のためのFP8プリフィルとINT4デコード
- Abstract要約: Transformer Prefillはトークン間のウェイトを再利用し、行列計算とアクティベーションデータの動きによって支配される。
シングルトーケンは再利用が限られており、重量とKVキャッシュの読み取りが支配的である。
本稿では,NVIDIAホッパー用のLlama型トランスフォーマーブロックのATRANSFORMERデコード実装について述べる。
- 参考スコア（独自算出の注目度）: 3.565474315629056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer prefill reuses weights across tokens and is dominated by matrix multiplication and activation data movement; single-token decode has limited reuse and is dominated by weight and KV-cache reads. We present FUTRANSFORMER, a CUDA implementation of a Llama-style Transformer block for NVIDIA Hopper GPUs. It applies CODA's GEMM-plus-epilogue approach to inference, adding direct KV-cache placement, folding the fixed RMSNorm gain into weights, writing FP8 output directly with delayed scaling, and supporting prefill without padding. Decode uses INT4 projection weights and an INT4 KV-cache copy. Weights and keys follow Tensor Core fragment layouts for direct dequantization into MMA operands without full intermediate tiles. A block-diagonal Hadamard transform reduces cache quantization error from outlier channels. On one H100, prefill is up to 1.48x faster than compiled PyTorch FP8 and reaches 1.29 PFLOP/s. For gate/up projection with SwiGLU at the 8B shape, our BF16 path is 1.13x faster than CODA. Our FP8 path is 2.02-2.18x faster than the evaluated BF16 CODA path. Across 8B and 70B shapes at batches 1-32, INT4 decode is 1.3-2.4x faster than the faster of PyTorch's BF16 and INT4 blocks at each point: 2.1-3.3x faster than compiled, CUDA-graphed BF16 and 1.3-6.3x faster than the same block using PyTorch's INT4 projection kernel, which targets a single query row and loses to BF16 at batch 32. It is also 31-51% faster than our FP8 path. Complete Llama-3.1-8B decode takes 2.8 ms per step at batch one, versus 8.1 ms for the compiled transformers implementation. Decoding every WikiText-2 token through the INT4 weight path raises perplexity from 6.24 to 7.23 with round-to-nearest weights or 6.99 with GPTQ in the same format; the rotated INT4 cache adds 0.20. The kernels match a quantized reference computation within 0.001 perplexity.
- Abstract（参考訳）: Transformer Prefillはトークン間のウェイトを再利用し、行列乗算とアクティベーションデータムーブメントによって支配される。
本稿では,NVIDIA Hopper GPU用のLlamaスタイルトランスフォーマーブロックのCUDA実装であるFUTRANSFORMERを提案する。
CODAのGEMM+epilogueアプローチを推論に適用し、直接KVキャッシュの配置を追加し、固定されたRMSNormゲインを重みに折り畳み、FP8出力を直接遅延スケーリングで書き、パディングなしでプリフィルをサポートする。
DecodeはINT4プロジェクションウェイトとINT4 KV-cacheコピーを使用している。
重みとキーはTensor Coreのフラグメントレイアウトに従っており、完全な中間タイルを持たないMMAオペランドに直列化されている。
ブロック対角アダマール変換は、外部チャネルからのキャッシュ量子化誤差を低減する。
1つのH100では、プリフィルはコンパイルされたPyTorch FP8の最大1.48倍高速で、1.29 PFLOP/sに達する。
8B形状のSwiGLUを用いたゲート/アッププロジェクションでは、BF16パスはCODAよりも1.13倍高速である。
我々のFP8パスは評価されたBF16 CODAパスより2.02-2.18倍高速である。
バッチ 1-32 での 8B と 70B の形状は PyTorch の BF16 と INT4 のブロックの速度よりも 1.3-2.4 倍速く、コンパイルより 2.1-3.3 倍速く、CUDA でグラフ化された BF16 と 1.3-6.3 倍速い。
FP8パスよりも31～51%高速です。
完全なLlama-3.1-8Bデコードはバッチ1で1ステップあたり2.8ms、コンパイルされたトランスフォーマーの実装では8.1msである。
すべてのWikiText-2トークンをINT4ウェイトパスでデコードすると、6.24から7.23に、ラウンド・トゥ・アレストウェイトで6.99に、同じフォーマットでGPTQで6.99に、ローテーションされたINT4キャッシュは0.20に増加する。
カーネルは0.001パープレキシティ内で量子化された参照計算と一致する。
関連論文リスト
- TurboPairFormer: Fast and Stable Protein Folding Model Training with an Optimized Triangle Attention Kernel [22.18221320831337]
三角形の注意はAlphaFold3スタイルの生体分子モデルにおけるコア計算であり、トークン数に3乗のコストがかかる。
オープンソースのバックエンドは、確率再計算、浮動小数点アトミック、あるいは完全なスコアグレードストレージを通じて、これらの削減を処理します。
本稿では,NVIDIA GPUの三角アテンション実装であるTurboPairFormerについて述べる。
論文 参考訳（メタデータ） (2026-10-05T06:16:34Z) - VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。
V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。
ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
論文 参考訳（メタデータ） (2026-09-14T16:17:35Z) - Hardware-Aware FP4 FlashAttention-4 [4.560316459247797]
Direct-PマップはFP4の確率を直接スコアし、2.13$times$ the bfloat16 (BF16) forward throughput on a NVIDIA GB200に達する。
一致した分散トレーニングは、FP8確率と値を保持し、テストされたMXFP4の確率/値のトレーニング軌道は分岐する。
論文 参考訳（メタデータ） (2026-09-03T17:12:35Z) - Unfolding the Leech Lattice: Fused Multi-Shell Decoding and VRAM Layouts for 2-Bit LLM Weights [8.550323073861415]
リーチ格子ベクトル量子化は、最強の報告された2ビット品質を独自の評価プロトコルで保持する。
本報告では, バッチ1におけるデコード相GEMVの供用コストを計測する。
論文 参考訳（メタデータ） (2026-09-02T14:26:06Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。
これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。
128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
論文 参考訳（メタデータ） (2026-06-23T00:17:48Z) - Realizing Native INT8 Compute for Diffusion Transformers on Consumer GPUs: A Fused INT8 GEMM Kernel for Ideogram 4.0 [0.08599681538174887]
拡散変圧器の後のINT8(W8A8)量子化は、速度最適化として広く展開されている。
消費者向けのAmpere GPUでは、FP8やNF4よりも遅いことがしばしばある。
われわれはこのギャップをTriton INT8 GEMMで埋める。
したがって、INT8は最も遅い変種から最も速いものへと移行する。
論文 参考訳（メタデータ） (2026-06-12T16:19:03Z) - Holding the FP8 Quality Ceiling at 8-Bit Weights and Activations: INT8 and GGUF Post-Training Quantization of Ideogram 4.0 for Consumer GPUs [0.08599681538174887]
9.3Bフローベース拡散変圧器(DiT)Ideogram 4.0の学習後量子化について検討する。
我々は、Ideogramの公開キャプション仕様に組み込んだ拡張器によって生成されたスキーマ値プロンプトに基づいて、すべての変種を評価する。
We release the INT8 W8A8 and GG Q4_K Quantized weights on Hugging under a gated, non-commercial license。
論文 参考訳（メタデータ） (2026-06-10T16:19:49Z) - INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。
本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。
FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
論文 参考訳（メタデータ） (2025-10-29T15:11:53Z) - Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。
この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
論文 参考訳（メタデータ） (2025-10-23T14:02:34Z) - Speedy MASt3R [68.47052557089631]
MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。
高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。
この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
論文 参考訳（メタデータ） (2025-03-13T03:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。