論文の概要: Advancing Quantization for R&R Models with Microscaling Formats
- arxiv url: http://arxiv.org/abs/2611.17501v1
- Date: Thu, 12 Nov 2026 20:46:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.25803
- Title: Advancing Quantization for R&R Models with Microscaling Formats
- Title(参考訳): マイクロスケーリングフォーマットを用いたR&Rモデルの量子化の促進
- Abstract要約: AMD MI350Xアーキテクチャ上での産業規模R&R推論のためのMXFP8および6ビットMXFP6フォーマットの実証評価を行った。
我々の知る限り、本論文はR&RドメインとLLMドメインをまたいだ最初の論文であり、ネイティブMXFP6 GEMMからの大幅な高速化を報告している。
- 参考スコア(独自算出の注目度): 10.082338839227353
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recommendation and Ranking (R&R) models, particularly in digital advertising, require massive inference throughput but exhibit extreme sensitivity to precision loss. Unlike Large Language Models (LLMs) that frequently tolerate quantization-induced accuracy drops of 1% or more, production-grade R&R models enforce a stringent launch bar: model quality must remain within a 0.01% Normalized Entropy (NE) margin relative to the baseline, which commonly uses FP16 or FP32. This tight constraint has historically hindered the adoption of aggressive quantization in this domain. In this paper, we present an empirical evaluation of both MXFP8 and the 6-bit MXFP6 format for industrial-scale R&R inference on the AMD MI350X architecture. To the best of our knowledge, this is the first paper, across R&R and LLM domains, that reports significant speedups from native MXFP6 GEMMs, which quantize both weights and activations and compute directly on 6-bit elements, without sacrificing model quality. We demonstrate that we can selectively apply this 6-bit format to maximize overall QPS gain without breaching the strict NE parity threshold. We further show that MXFP8 is a viable alternative to row-wise FP8: the two formats have nearly the same accuracy on our models, so the faster kernel can be chosen for each GEMM shape. On two production ads ranking models, our implementation shows measured GEMM kernel speedups over FP16 of 1.33--1.55x for MXFP8 and 1.73--1.99x for MXFP6 across all supported linear layers, and up to 2.90x for MXFP6 on individual layers, alongside end-to-end (E2E) inference throughput gains from selective MXFP6 of 1.5--5.3% for Model A and 7.6--14.3% for Model B over their FP8 configurations.
- Abstract(参考訳): Recommendation and Ranking(R&R)モデルは、特にデジタル広告では大量の推論スループットを必要とするが、精度の低下に対して非常に敏感である。
量子化による精度低下を1%以上許容する大規模言語モデル(LLM)とは異なり、生産レベルのR&Rモデルは厳格な発射バーを強制する:モデルの品質はベースラインに対して0.01%の正規化エントロピー(NE)のマージンに留まらなければならない。
この厳密な制約は、歴史的にこの領域における積極的な量子化の採用を妨げる。
本稿では,AMD MI350Xアーキテクチャ上での産業規模R&R推論のためのMXFP8および6ビットMXFP6フォーマットの実証評価を行う。
我々の知る限り、本論文はR&RドメインとLLMドメインにまたがる最初の論文であり、モデル品質を犠牲にすることなく、ウェイトとアクティベーションの両方を定量化し、6ビット要素を直接計算するネイティブMXFP6 GEMMからの大幅なスピードアップを報告している。
厳密なNEパリティ閾値を破ることなく、この6ビットフォーマットを選択的に適用し、全体のQPSゲインを最大化できることを実証する。
さらに、MXFP8が行ワイドFP8の代替となることを示す。この2つのフォーマットはモデルでほぼ同じ精度であり、GEMMの各形状に対してより高速なカーネルを選択することができる。
2つのプロダクション広告ランキングモデルにおいて、GEMMカーネルの高速化は、MXFP8が1.33--1.55x、MXFP6が1.73--1.99x、各層で最大2.90x、モデルAが1.5-5.3%、モデルBが7.6-14.3%である。
関連論文リスト
- Integer-Exact Microscaling: Running MXFP4 Language Models on INT8 Matrix Units [2.8512277471917824]
2ブロック乗算器の代わりに整数を用いると、整数エクサクタフォーマット(16ワイドブロック、乗算器 1..10, 4.26 ビット)が1つの正確なINT8 GEMMとして動作する。
M5上の完全なW4A8システムは、量子化された参照に対してビットIDの出力を生成する。
論文 参考訳(メタデータ) (2026-10-31T00:18:06Z) - Accelerating SO(2)-Equivariant Materials Models through Low-Precision Emulation [71.9141151643915]
GNN の 'SO(2)-equivariant' 処理層を高速化するために, 整数大崎スキームの下での「エミュレートされた」低精度演算を導入する。
私たちのフレームワークであるFlashSO(2)は、スループット、精度、メモリフットプリントにおいて、最も正確なネイティブな低精度MMUフォーマットであるTF32より優れています。
論文 参考訳(メタデータ) (2026-10-26T10:27:20Z) - MXAttention: Data-Free Optimal Scaling and Pre-Normalization Quantization for MXFP4 Attention [11.481044720988876]
我々はMXFP4の注意を引くためのデータフリーのポストトレーニング量子化フレームワークMXAttentionを提案する。
MXAttentionは,OCP MXFP4 と FP16 の VBench Imaging Quality ギャップの少なくとも95%を閉じ,フレームレベルの類似性を著しく改善し,FP16 レベルの生成品質を 0.01 未満の絶対劣化で維持することを示した。
論文 参考訳(メタデータ) (2026-07-27T12:53:22Z) - MX-SAFE: Versatile Inference- and Training-Proof Microscaling Format with On-the-Fly Exponent and Mantissa Bit Allocation [4.769740034530933]
MXSFフォーマットを用いたトレーニングにおいて,再量子化処理の負担を軽減し,ハードウェア効率を向上させるためのタイルベースブロック設計を提案する。
MXSFフォーマットをサポートするトレーニング推論アクセラレータを提案し,BF16ベースラインと同様の精度を実現する。
論文 参考訳(メタデータ) (2026-05-23T04:21:57Z) - MXNorm: Reusing MXFP block scales for efficient tensor normalisation [39.74786083127591]
我々は、MXFP8キャストの一部として計算されたブロックスケールのみを用いてRMSを推定するRMSNormのドロップイン置換であるMXNormを提案する。
我々は,MXFP8のLlama 3 8B変換器層における1.3%の高速化とNVFP4の2.6%の高速化に対応して,MXNorm上のトーチ.コンパイルを最大2.4倍のRMSNormで実行した。
論文 参考訳(メタデータ) (2026-03-13T17:14:06Z) - ARCQuant: Boosting NVFP4 Quantization with Augmented Residual Channels for LLMs [4.431548809730958]
ARCQuantは、Augmented Residual Channelsを通じてNVFP4パフォーマンスを向上させるフレームワークである。
ARCQuantは、複雑なタスクや下流タスクにおいて、完全精度のベースラインに匹敵する、最先端の精度を実現する。
論文 参考訳(メタデータ) (2026-01-12T12:27:22Z) - INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。
本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。
FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
論文 参考訳(メタデータ) (2025-10-29T15:11:53Z) - Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。
本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。
MR-GPTQは最先端の精度で一致または性能が向上することを示す。
論文 参考訳(メタデータ) (2025-09-27T09:22:21Z) - "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。
FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
論文 参考訳(メタデータ) (2024-11-04T18:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。