論文の概要: FP8 is All You Need (Part 2): Efficient Ozaki-Bailey Style FFT Through Tensor-core Garner Reformulation and Kulisch Escape Route

• arxiv url: http://arxiv.org/abs/2606.23698v1
• Date: Thu, 28 May 2026 03:49:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-28 23:46:52.309833
• Title: FP8 is All You Need (Part 2): Efficient Ozaki-Bailey Style FFT Through Tensor-core Garner Reformulation and Kulisch Escape Route
• Title（参考訳）: FP8は必要なすべて(第2報) テンソルコアガーナー改築とクリッシュエスケープルートによる高効率大崎ベイリー型FFT
• Abstract要約: NVIDIAのBlackwell Ultra (B300)は、FP64ベクターのスループットをGPU当たり1.3TFLOPSに削減している。 Ozaki Scheme IIフレームワークは、FP8テンソルコアを介して高密度行列乗算をルーティングすることで、FP64等価スループットを回復する。 本稿では,第5次標準プリミティブである3次元FFTを付加する。
• 参考スコア（独自算出の注目度）: 1.5752282186775997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: NVIDIA's Blackwell Ultra (B300) cuts FP64 vector throughput to ~1.3 TFLOPS per GPU, roughly 30x below B200 and well below the level at which bandwidth-limited FP64 workloads stay memory-bound. The Ozaki Scheme II framework recovers FP64-equivalent throughput by routing dense matrix multiply through FP8 tensor cores with a mantissa-sliced Chinese-remainder reconstruction. A companion Part (1) paper covers dense GEMM, batched GEMV, stencils, and SpMV; this paper adds the fifth canonical primitive, the 3-D FFT. We present Ozaki-Bailey FFT, an emulated 3-D FFT via the Bailey six-step decomposition with both 1-D FFT GEMMs on FP8 tensor cores. Bailey's small inner factor k ~ sqrt(N) (k=32 for N=1024) puts the kernel in the regime k << r^2, where the third TME parameter gamma (reconstruction latency) binds rather than amortising. Garner reconstruction splits into Phase A (inner products on FP8/INT8 tensor cores, ~1 ms for 1024^3 on B300) and Phase B (per-output reduction). We identify Kulisch fixed-point complete arithmetic as a Phase B reformulation that keeps full FP64 accuracy while running entirely on the INT32 SIMT pipe. We derive closed-form bandwidth-parity floors. The native FP64 floor is 1.56*B_HBM (12.5 TF at 8 TB/s): B300's 1.3 TF sits ~10x below, Rubin's 33 TF within 4%. The Kulisch escape route needs an INT32 sub-floor 8.25*B_HBM and an FP8 floor 170*B_HBM; B300 meets both. The projection is ~18 ms for 1024^3 at full FP64, essentially the 12.9 ms memory roof. A GPU meets memory-roof FFT parity if it satisfies either the native floor or both Kulisch floors. If the projection holds in practice, B300 becomes viable for full-FP64 FFT through software alone, motivating a libKulisch library and benchmark campaign.
• Abstract（参考訳）: NVIDIAのBlackwell Ultra (B300)は、FP64ベクターのスループットをGPU当たり1.3TFLOPSに削減し、B200の約30倍、帯域幅制限のFP64ワークロードがメモリバインドされるレベルよりかなり低い。 Ozaki Scheme II フレームワークは,FP8 テンソルコアに高密度行列乗算をルーティングすることで,FP64 等価スループットを回復する。 第1部 紙は高密度GEMM, バッチGEMV, ステンシル, SpMVをカバーし, 第5次標準プリミティブである3次元FFTを付加する。 本稿では,FP8テンソルコア上の1次元FFT GEMMを用いて,ベイリー6ステップ分解による3次元FFTをエミュレートしたOzaki-Bailey FFTを提案する。 ベイリーの小さな内因子 k ~ sqrt(N) (k=32 for N=1024) は、核を状態 k << r^2 に配置する。 ガーナー再構成はフェーズA(FP8/INT8テンソルコアの内積、B300では1024^3で約1ms)とフェーズB(出力削減)に分けられる。 我々は、クリシュの不動点完全算術を、INT32 SIMTパイプ上で完全に動作しながらフルFP64の精度を維持する位相Bの修正とみなす。 閉形式の帯域幅平らなフロアを導出する。 FP64のフロアは1.56*B_HBM(12.5 TF at 8 TB/s)で、B300の1.3 TFは10倍、ルービンの33 TFは4%である。 クリシュの脱出経路にはINT32サブフロア8.25*B_HBMとFP8フロア170*B_HBMが必要である。 プロジェクションはフルFP64では1024^3で約18ms、本質的には12.9msのメモリ屋根である。 GPUは、ネイティブフロアまたは両方のクリッシュフロアを満たす場合、FFTパリティのメモリルーフを満たす。 実際にプロジェクションが保留されている場合、B300はソフトウェアだけでフルFP64 FFTに対応し、libKulischライブラリとベンチマークキャンペーンを動機付ける。

関連論文リスト

• Hardware-Aware FP4 FlashAttention-4 [4.560316459247797]
  Direct-PマップはFP4の確率を直接スコアし、2.13$times$ the bfloat16 (BF16) forward throughput on a NVIDIA GB200に達する。 一致した分散トレーニングは、FP8確率と値を保持し、テストされたMXFP4の確率/値のトレーニング軌道は分岐する。
  論文  参考訳（メタデータ） (2026-09-03T17:12:35Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• CurveFP: Co-Designing Numerical Representation and Product Arithmetic for Language Models [0.0]
  ブロックスケールのファミリーであるCurveFPを導入する。 代数をトレーニング用CurveFP8 E4C3/E5C2、コンパクト推論用CurveFP7 E3C3としてインスタンス化する。 4つの7B-9Bモデルにおいて、CurveFP7は1ビット未満の要素ビットでテンソルワイズFP8パープレキシティを上回り、ネイティブ品質の1.32%以内に留まる。
  論文  参考訳（メタデータ） (2026-08-08T01:55:46Z)
• RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
  Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。 これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。 128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
  論文  参考訳（メタデータ） (2026-06-23T00:17:48Z)
• NeuronFabric: A Software Reference Architecture for On-Chip Transformer Training with Local Adam [0.0]
  本稿では,NuronFabricについて述べる。NuronFabricは将来のFPGAおよびASICによるローカルAdam更新によるトランスフォーマートレーニングの実装を目的としたソフトウェアリファレンスアーキテクチャである。 完全なC#プロトタイプは、外部の機械学習フレームワークなしで、フォワードパス、バックプロパゲーション、Adam最適化を実装している。 本稿では,初期の実験で観測されたボキャブラリ・バジェット制約について述べるとともに,BF16Wメモリの保存量を定量化し,FPGAトレーニングを次の段階として概説する。
  論文  参考訳（メタデータ） (2026-06-15T09:11:26Z)
• Realizing Native INT8 Compute for Diffusion Transformers on Consumer GPUs: A Fused INT8 GEMM Kernel for Ideogram 4.0 [0.08599681538174887]
  拡散変圧器の後のINT8(W8A8)量子化は、速度最適化として広く展開されている。 消費者向けのAmpere GPUでは、FP8やNF4よりも遅いことがしばしばある。 われわれはこのギャップをTriton INT8 GEMMで埋める。 したがって、INT8は最も遅い変種から最も速いものへと移行する。
  論文  参考訳（メタデータ） (2026-06-12T16:19:03Z)
• Holding the FP8 Quality Ceiling at 8-Bit Weights and Activations: INT8 and GGUF Post-Training Quantization of Ideogram 4.0 for Consumer GPUs [0.08599681538174887]
  9.3Bフローベース拡散変圧器(DiT)Ideogram 4.0の学習後量子化について検討する。 我々は、Ideogramの公開キャプション仕様に組み込んだ拡張器によって生成されたスキーマ値プロンプトに基づいて、すべての変種を評価する。 We release the INT8 W8A8 and GG Q4_K Quantized weights on Hugging under a gated, non-commercial license。
  論文  参考訳（メタデータ） (2026-06-10T16:19:49Z)
• FP8 is All You Need (Part 1): Debunking Hardware FP64 as the HPC Holy Grail [1.5752282186775997]
  従来のHPCのドグマは、ネイティブハードウェアのFP64シリコンは二重精度シミュレーションの「ホット・ゲイル」であるとしている。 B300世代以降のAI最適化GPUでは、豊富なFP8スループットと中国のRemainder TheoremベースのOzaki IIが、標準HPCカーネルスペクトル全体にわたって完全なFP64精度でメモリルーフ実行を回復する。
  論文  参考訳（メタデータ） (2026-05-28T03:40:05Z)
• ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning [58.54940026861599]
  textscChunkFTはメモリ効率の良い微調整フレームワークである。 textscChunkFTは、ネットワークアーキテクチャを変更することなく任意のサブテンソルの勾配計算を可能にする。 textscChunkFTは、既存のメモリ効率のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-20T13:44:44Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• SlideSparse: Fast and Flexible (2N-2):2N Structured Sparsity [86.71343842875878]
  NVIDIAの2:4 Sparse Coresは2倍のスループットを提供するが、厳しい50%のプルーニングを要求する。 Milder $(2N-2):2N$パターンは正確さを維持しながらハードウェアサポートを受けない。 Sparse Coreアクセラレーションをアンロックする最初のシステムであるSlideSparseを紹介する。
  論文  参考訳（メタデータ） (2026-03-05T14:49:16Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
  機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。 この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
  論文  参考訳（メタデータ） (2025-10-23T14:02:34Z)
• FP8-LM: Training FP8 Large Language Models [47.17804713425323]
  本稿では,大規模言語モデルの学習のためのFP8自動混合精度フレームワークを提案する。 実験の結果,H100 GPUプラットフォーム上でのGPT-175Bモデルのトレーニングにおいて,我々のFP8混合精度トレーニングフレームワークは,実際のメモリ使用量の39%削減だけでなく,広く採用されているBF16フレームワークよりも75%高速に動作したことがわかった。
  論文  参考訳（メタデータ） (2023-10-27T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。