論文の概要: The Missing Fourth Term for the Emulation Tensor Memory Equilibrium (TME) Model: The Residue Deconstruction Cost
- arxiv url: http://arxiv.org/abs/2610.10924v1
- Date: Wed, 07 Oct 2026 21:27:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.677653
- Title: The Missing Fourth Term for the Emulation Tensor Memory Equilibrium (TME) Model: The Residue Deconstruction Cost
- Title（参考訳）: 模擬テンソルメモリ平衡モデル(TME)の欠失第4項:残余分解コスト
- Abstract要約: 『FP8 is All You Need』(パート1)では、テンソルコア項の最大値としてfp64の尾崎スキームIIエミュレーションの実行時間と、ハイバンド幅メモリ(HBM)トラフィック項と出力毎の再構成項を算出する。
すべてのストリームfp64は、任意の行列乗算が発行される前にSIMTパイプ上の$r$モジュラーのそれぞれをスケール、丸め、減らさなければならない。
残余の事前計算と保存は、同じコストで帯域幅の項に移行し、命令数を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Tensor-Memory Equilibrium (TME) model of "FP8 is All You Need (Part 1)" calculates the execution time of Ozaki Scheme II emulation of fp64 as the maximum of a tensor-core term and a High-Bandwidth Memory (HBM) traffic term, plus a per-output reconstruction term. However, it omits the per-input deconstruction cost: every streamed fp64 operand must be scaled, rounded, and reduced modulo each of the $r$ moduli on SIMT pipes before any matrix multiply can issue. In this note we add this fourth term, calibrate its constant from the cuBLAS emulation path, and derive a closed-form operational-intensity threshold $\mathrm{OI}^{*} = c_q r P_{\mathrm{fp64}}/(8P_{\mathrm{int}})$ below which emulation cannot match native fp64 regardless of tensor-core throughput. On the NVIDIA B300 GPU the threshold is $\mathrm{OI}^{*}\approx 0.56$ FLOP/B. As a result, GEMV, SpMV, and low-batch GEMV, which are the memory-bound kernels the original paper claims to accelerate, are limited to 0.3-0.9x of native performance, and the 7-point stencil to 1.8x rather than the claimed 3.1x. Dense GEMM is unaffected as expected. We also show that precomputing and storing the residues moves the same cost into the bandwidth term, and we state the instruction count that an implementation would have to achieve to invalidate the bound.
- Abstract（参考訳）: FP8 is All You Need (Part 1)" のTensor-Memory Equilibrium (TME) モデルは、テンソルコア項の最大値として fp64 の Ozaki Scheme II エミュレーションの実行時間と、高帯域メモリ (HBM) トラフィック項と出力単位の再構成項を算出する。
しかし、全てのストリームされたfp64オペランドは、任意の行列乗算が発行される前にSIMTパイプ上の$r$モジュラーのそれぞれをスケール、丸め、減らさなければならない。
ここでは、この4項を加え、cuBLASエミュレーションパスから定数をキャリブレーションし、クローズドフォームの操作強度閾値$\mathrm{OI}^{*} = c_q r P_{\mathrm{fp64}}/(8P_{\mathrm{int}})$を導出する。
NVIDIA B300 GPUでは、閾値は$\mathrm{OI}^{*}\approx 0.56$ FLOP/Bである。
その結果、GEMV、SpMV、低バッチGEMVは、原論文が加速するメモリバウンドカーネルであり、ネイティブパフォーマンスの0.3-0.9倍に制限され、7点ステンシルは3.1倍よりも1.8倍に制限された。
Dense GEMMは、予想通り影響を受けない。
また,残余の事前計算と保存が同じコストを帯域幅の項に移動することを示すとともに,実装が境界を無効にするために達成しなければならない命令数を述べる。
関連論文リスト
- TurboPairFormer: Fast and Stable Protein Folding Model Training with an Optimized Triangle Attention Kernel [22.18221320831337]
三角形の注意はAlphaFold3スタイルの生体分子モデルにおけるコア計算であり、トークン数に3乗のコストがかかる。
オープンソースのバックエンドは、確率再計算、浮動小数点アトミック、あるいは完全なスコアグレードストレージを通じて、これらの削減を処理します。
本稿では,NVIDIA GPUの三角アテンション実装であるTurboPairFormerについて述べる。
論文 参考訳（メタデータ） (2026-10-05T06:16:34Z) - Right In-Place (RiP) Convolution: A Simple, General, and Near-Optimal Strategy for Memory-Efficient CNN Inference [0.0]
演算ではなくアクティベーションメモリは、マイクロコントローラのような制約のあるハードウェア上でのCNN推論を制限する。
直接 in-place 畳み込みは二重バッファのコストを低減させるが、Gural と Murmann のメモリ最適化の定式化は有効なパディング、単位非有界ストライド、単位拡張、奇数正方核を仮定する。
本稿では,各レイヤが共有ワークスペース内で入力を右に読み取り,インデックスゼロから出力を左に書き込むという,ビット単位の演算であるRight In-Place畳み込みを提案する。
論文 参考訳（メタデータ） (2026-09-30T18:51:30Z) - LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。
LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。
FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
論文 参考訳（メタデータ） (2026-09-29T17:59:34Z) - Zero-Storage Procedural Neural Synthesis via Boundary Dynamics: Formal Verification in Lean 4 and Bare-Metal Gauntlet Validation [0.0]
WERR(Waves & Errors)と第III相軌道誤差ダイナミクス(OED)の形式的検証とベアメタル的実証について述べる。
我々はベクトル化された36ビットCPUカーネルプロセスの評価を6.49秒で10,000の判定(15,397の判定/s,0バイトVRAM,15.15倍の高速化)。
我々は、Mathlib4 と 0 の未証明予想 (sorry): $mathcalI_3 = 0,3,6 の部分集合 mathbbZ を証明して、Lean 4 (v4.34.1) において 10 つの機械検証定理を確立する。
論文 参考訳（メタデータ） (2026-09-27T00:56:22Z) - Attention at the Theoretical Minimum: A Mathematics of Arrays Framework for Memory-Optimal Transformer Kernels [0.0]
本報告では, ドット積の小型化と, 数値的に安定なソフトマックスについて述べる。
DNFは、標準実装に対して$O(n_dk + n_dv)$データ移動と$O(n2 + n_dk + n_dv)$のデータ移動を達成する。
ハードウェア固有のアクセラレータやFlashAttentionのような経験的なタイリングスキームとは異なり、MoAはアレイ融合、形状変換の正確性、予測コストモデルも同時に提供する。
論文 参考訳（メタデータ） (2026-06-05T14:44:49Z) - A Controlled Study of Memory Hierarchy Transitions in Quantum Circuit Simulation on Apple M4 Pro Unified Memory Architecture [0.0]
状態ベクトル量子回路シミュレーションはメモリ帯域境界である。
Apple M4 Pro Unified Memory Architectureを使ってこの問題に対処する。
ピークストリーミング帯域幅は、連続しないメモリアクセスパターンのシミュレーションスピードアップを予測できないことを示す。
論文 参考訳（メタデータ） (2026-05-09T08:22:55Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳（メタデータ） (2026-03-23T17:57:24Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。
この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
論文 参考訳（メタデータ） (2025-10-23T14:02:34Z) - 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。
この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。
本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
論文 参考訳（メタデータ） (2021-10-06T15:43:20Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳（メタデータ） (2020-11-20T23:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。