論文の概要: P-Cast Precision in FP8 Attention: Sink-Induced Collapse and the Optimality of S=2^8
- arxiv url: http://arxiv.org/abs/2606.06521v1
- Date: Tue, 02 Jun 2026 17:29:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.338891
- Title: P-Cast Precision in FP8 Attention: Sink-Induced Collapse and the Optimality of S=2^8
- Title（参考訳）: P-Cast Precision in FP8 Attention: Sink-induced Collapse and the Optimality of S=2^8
- Authors: Reed Lau,
- Abstract要約: 注意シンク現象下での出力精度に影響を与える2つの実装選択を解析する。
前方 KV 反復が "P-崩壊" を引き起こすことを示す -- 先行順に、Phi (Delta + delta_k - 6.93 - ln S) の非シンク P 値がゼロとなる。
また、S = 256 = 28 をビットエクササイズ IEEE 754 スケーリングを同時に満足する静的スケールとして構成的に特徴づける。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: FP8 (E4M3) acceleration for attention computation offers significant throughput gains, but the 3-bit mantissa introduces precision challenges when the softmax probability matrix P is cast to FP8 before the P*V matrix multiplication. We analyze two implementation choices that affect output precision under the Attention Sink phenomenon: (1) the KV block iteration order, and (2) the static scaling factor applied to P before casting. We show that forward KV iteration causes "P-collapse" -- to leading order, a fraction Phi(Delta + delta_k - 6.93 - ln S) of non-sink P values underflow to zero, where the small shift delta_k ~ 1 (for k_sink = 4) is the expected within-sink-block score maximum -- and that reverse iteration removes it, with a zero-underflow guarantee when reverse is combined with S = 256. We further give a constructive characterization of S = 256 = 2^8 as the static scale that simultaneously satisfies (i) bit-exact IEEE 754 scaling, (ii) the lower envelope of a sawtooth function dp(S) over the E4M3 number line (dp = 2^-4, the minimum worst-case quantization step), and (iii) the maximum normal-range coverage among bit-exact (2^k) scales (a non-bit-exact scale such as 448 attains slightly higher coverage). Both optimizations are already deployed in FlashAttention-3/4 on engineering grounds; our contribution is a quantitative account of why these choices are good and a closed-form threshold Delta_c = 6.93 + ln S - delta_k for predicting kernel-level precision loss. Kernel-faithful experiments (Q, K, V in FP32 to isolate the P-cast effect) show 3-10x MSE improvement at moderate sink strengths, and paired tests confirm both fixes saturate to the same precision floor when combined.
- Abstract（参考訳）: 注意計算のためのFP8(E4M3)加速度は大きなスループット向上をもたらすが、P*V行列乗算の前にソフトマックス確率行列PがFP8にキャストされた場合、3ビットのマティッサは精度の問題をもたらす。
我々は,(1)KVブロックの繰り返し順序,(2)鋳造前のPに適用される静的スケーリング係数の2つの実装選択を,注意シンク現象下での出力精度に影響を与える。
前方 KV 反復が "P-崩壊" を引き起こすことを示す -- 先行順に、非シンク P 値の分数 Phi (Delta + delta_k - 6.93 - ln S) がゼロに流れ、小さなシフト delta_k ~ 1 (k_sink = 4 の場合) が予想される内ブロックスコアの最大値であり、逆繰り返しは S = 256 と逆のときゼロアンダーフロー保証でそれを除去する。
さらに、同時に満足する静的スケールとして、S = 256 = 2^8 の構成的特徴を与える。
(i)bit-exact IEEE 754スケーリング
(ii)E4M3数列上のソートゥース関数dp(S)の下層(dp = 2^-4、最低ケース量子化ステップ)、
3) ビットエクサクト(2^k)スケール(448などの非ビットエクササイズ)における最大正規範囲カバレッジは、わずかに高いカバレッジを得る。
私たちの貢献は、これらの選択が良い理由と、カーネルレベルの精度損失を予測するためのクローズドフォームしきい値 Delta_c = 6.93 + ln S - delta_k の定量的な説明です。
カーネルフルな実験(Pキャスト効果を分離するためにFP32でQ, K, V)は、適度なシンク強度で3,10倍のMSE改善を示す。
関連論文リスト
- A Penalty-Free Pipeline for Direct Quantum-Annealer Portfolio Optimization [0.0]
直接量子アニーラーポートフォリオ最適化は、一般にD-Waveハードウェアに送信されるペナルティ符号化QUBOとして定式化される。
この標準定式化は、現在のデバイスでは失敗し、構造的理由を特定する。
期待したリターンから目的のみのQUBOを構築し、それをハードウェア上でサンプリングする。
論文 参考訳（メタデータ） (2026-05-17T19:50:04Z) - Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning [0.0]
本研究では,SudokuExtreme上の単一ブロックユニバーサルトランス (UT) のスクラッチパッドとして学習したメモリトークンについて検討した。
メモリトークンは、テストされたすべての構成で、メモリトークンのない構成は、非自明なパフォーマンスです。
論文 参考訳（メタデータ） (2026-04-23T18:30:01Z) - When Flat Minima Fail: Characterizing INT4 Quantization Collapse After FP32 Convergence [0.0]
後学習量子化は、よく収束したモデルが量子化対応モデルであると仮定する。
この仮定は構造化され、測定可能で、以前は達成できなかった方法で失敗することを示す。
論文 参考訳（メタデータ） (2026-04-16T15:46:36Z) - Quantization Dominates Rank Reduction for KV-Cache Compression [0.0]
量子化は、モデルと圧縮レベルに応じて、4-364 PPLのランク低下を一貫して上回る。
我々は、ソフトマックスフィッシャー計量の下で、投射損傷が1方向に3 x 2 (2b) の量子化損傷を超える結果によってこれを定式化する。
論文 参考訳（メタデータ） (2026-04-13T14:06:18Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - HAS-VQ: Hessian-Adaptive Sparse Vector Quantization for High-Fidelity LLM Compression [0.0]
HAS-VQ (Hessian-Adaptive Sparse Vec-tor Quantization) は,高感度のアウトレーヤをバルク重量分布から厳密に分離する圧縮フレームワークである。
我々は, SmolLM2-1.7B上のHAS-VQを評価し, 2つの異なる優越性を証明した。
論文 参考訳（メタデータ） (2026-01-11T15:35:10Z) - ECPv2: Fast, Efficient, and Scalable Global Optimization of Lipschitz Functions [91.31596562378076]
ECPv2は、未知のリプシッツを持つリプシッツ連続関数のグローバル最適化のためのスケーラブルで理論的に基礎付けられたアルゴリズムである。
ECPv2は最適時間境界でECPのNo-Regret保証を保ち,これらの結果により受容領域を拡大することを示す。
論文 参考訳（メタデータ） (2025-11-20T17:30:55Z) - Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。
この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
論文 参考訳（メタデータ） (2025-10-23T14:02:34Z) - The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。
最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。
我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
論文 参考訳（メタデータ） (2022-12-19T18:48:33Z) - 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。
この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。
本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
論文 参考訳（メタデータ） (2021-10-06T15:43:20Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳（メタデータ） (2020-11-20T23:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。