論文の概要: MXAttention: Data-Free Optimal Scaling and Pre-Normalization Quantization for MXFP4 Attention
- arxiv url: http://arxiv.org/abs/2607.24377v1
- Date: Mon, 27 Jul 2026 12:53:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.42107
- Title: MXAttention: Data-Free Optimal Scaling and Pre-Normalization Quantization for MXFP4 Attention
- Title（参考訳）: MXAttention:MXFP4アテンションのためのデータフリーの最適スケーリングと事前Normalization量子化
- Abstract要約: 我々はMXFP4の注意を引くためのデータフリーのポストトレーニング量子化フレームワークMXAttentionを提案する。
MXAttentionは,OCP MXFP4 と FP16 の VBench Imaging Quality ギャップの少なくとも95%を閉じ,フレームレベルの類似性を著しく改善し,FP16 レベルの生成品質を 0.01 未満の絶対劣化で維持することを示した。
- 参考スコア（独自算出の注目度）: 11.481044720988876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The quadratic cost of attention is a major bottleneck in diffusion-based video generation models. MXFP4 attention provides a promising path toward efficient inference, but direct MXFP4 quantization often degrades generation quality due to two numerical issues: the clipping-underflow trade-off from power-of-two scaling and the row-wise normalization error introduced in the softmax loop. We propose MXAttention, a data-free post-training quantization framework for MXFP4 attention. MXAttention introduces two components: Universal Optimal Scaling (UOS), which exploits the periodic structure of power-of-two microscaling to derive a distribution-independent optimal scaling boundary Qmax=7.25 without calibration or search, and Pre-Normalization Quantization (PNQ), which quantizes unnormalized softmax exponentials before row-wise summation to preserve normalization by construction. Experiments on Wan2.2 and HunyuanVideo show that MXAttention closes at least 95% of the VBench Imaging Quality gap between OCP MXFP4 and FP16, substantially improves frame-level similarity, and preserves FP16-level generation quality with less than 0.01 absolute degradation on all reported VBench metrics. MXAttention also achieves performance competitive with strong NVFP4-based baselines with negligible overhead when fused into the attention pipeline. The implementation is publicly available in MindIE-SD.
- Abstract（参考訳）: 注意の二次コストは拡散に基づくビデオ生成モデルにおいて大きなボトルネックとなっている。
MXFP4アテンションは効率的な推論への有望な経路を提供するが、直接MXFP4量子化は2つの数値問題により生成品質を劣化させる。
本稿では,MXFP4注目のためのデータフリーなポストトレーニング量子化フレームワークMXAttentionを提案する。
MXAttentionは2つのコンポーネントを導入している: Universal Optimal Scaling (UOS)は、2つのマイクロスケーリングの周期構造を利用して、キャリブレーションやサーチなしで分布非依存の最適スケーリング境界 Qmax=7.25 を導出する。
Wan2.2 と HunyuanVideo の実験では、MXAttention は、OCP MXFP4 と FP16 の VBench Imaging Quality ギャップの少なくとも95%を閉じ、フレームレベルの類似性を大幅に改善し、FP16 レベルの生成品質を、報告された全ての VBench メトリクスに対して 0.01 未満の絶対分解で保持している。
MXAttentionはまた、アテンションパイプラインに融合する際のオーバーヘッドが無視できる強力なNVFP4ベースのベースラインと競合するパフォーマンスを実現する。
この実装はMindIE-SDで公開されている。
関連論文リスト
- FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling [23.78963716646984]
FOCUSは、FP4最適化のためのエンドツーエンドのスケール学習を備えた、トレーニング後の量子化フレームワークである。
量子化と量子化スケールの密結合を学習可能な完全精度係数で緩和する。
FOCUSはMXFP4フォーマットとNVFP4フォーマットの両方で最先端のFP4精度を実現する。
論文 参考訳（メタデータ） (2026-08-03T07:54:56Z) - MX-SAFE: Versatile Inference- and Training-Proof Microscaling Format with On-the-Fly Exponent and Mantissa Bit Allocation [4.769740034530933]
MXSFフォーマットを用いたトレーニングにおいて,再量子化処理の負担を軽減し,ハードウェア効率を向上させるためのタイルベースブロック設計を提案する。
MXSFフォーマットをサポートするトレーニング推論アクセラレータを提案し,BF16ベースラインと同様の精度を実現する。
論文 参考訳（メタデータ） (2026-05-23T04:21:57Z) - OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。
本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。
X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
論文 参考訳（メタデータ） (2026-05-19T10:53:03Z) - BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳（メタデータ） (2026-04-05T04:25:07Z) - PRISM: Performer RS-IMLE for Single-pass Multisensory Imitation Learning [51.24484551729328]
PRISMは,IMLEのバッチ・グロバル・リジェクション・サンプリングに基づく単一パスポリシーである。
PRISMは、Performerアーキテクチャを用いた線形アテンション発生器と時間的マルチセンサエンコーダを結合する。
7-DoFアームD1を搭載したUnitree Go2を用いたロコマニピュレーションやUR5マニピュレータを用いたテーブルトップ操作など,PRISMの有効性を実証する。
論文 参考訳（メタデータ） (2026-02-02T17:57:37Z) - Unveiling the Potential of Quantization with MXFP4: Strategies for Quantization Error Reduction [1.8599887993390827]
Open Compute Project (OCP) Microscaling標準MXFP4はNVIDIAのNVFP4の精度に遅れている。
我々は,OAS(Overflow-Aware Scaling)とMBS(Macro Block Scaling)という,ソフトウェアのみの2つのテクニックを紹介した。
OASとMBSはMXFP4とNVFP4のエンドツーエンドの精度ギャップを平均で約10%から1%以下に減らす。
論文 参考訳（メタデータ） (2026-01-30T23:24:17Z) - INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。
本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。
FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
論文 参考訳（メタデータ） (2025-10-29T15:11:53Z) - Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。
本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。
MR-GPTQは最先端の精度で一致または性能が向上することを示す。
論文 参考訳（メタデータ） (2025-09-27T09:22:21Z) - MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
論文 参考訳（メタデータ） (2025-07-06T08:16:50Z) - AMXFP4: Taming Activation Outliers with Asymmetric Microscaling Floating-Point for 4-bit LLM Inference [6.699442219974261]
AMXFP4は4ビットの非対称なFPフォーマットで、どちらも非対称な共有スケールで処理する。
AMXFP4はVQAでMXFP4を3%上回り、CSQAで1.6%上回る。
論文 参考訳（メタデータ） (2024-11-15T03:11:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。