論文の概要: Block Rotation is All You Need for MXFP4 Quantization

• arxiv url: http://arxiv.org/abs/2511.04214v1
• Date: Thu, 06 Nov 2025 09:22:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.37541
• Title: Block Rotation is All You Need for MXFP4 Quantization
• Title（参考訳）: MXFP4量子化に必要なブロック回転
• Authors: Yuantian Shao, Peisong Wang, Yuanteng Chen, Chang Xu, Zhihui Wei, Jian Cheng,
• Abstract要約: トレーニング後の量子化は、大規模言語モデルの効率的なデプロイのための有望なソリューションである。 既存のほとんどのメソッドはINT4フォーマット用に設計されているが、MXFP4の出現は現在の技術の適用性に関する疑問を提起している。 GPTQのような手法は一貫して高い性能を提供するのに対して、ローテーションベースのアプローチは、ほぼすべての最先端のアプローチで使われているが、MXFP4との深刻な非互換性に悩まされている。
• 参考スコア（独自算出の注目度）: 42.603238130671166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved remarkable success, but their rapidly growing scale imposes prohibitive costs in memory, computation, and energy. Post-training quantization (PTQ) is a promising solution for efficient deployment, yet achieving accurate W4A4 quantization remains an open challenge. While most existing methods are designed for INT4 formats, the emergence of MXFP4 -- a new FP4 format with various hardware support (NVIDIA, AMD, Intel)-- raises questions about the applicability of current techniques. In this work, we establish a comprehensive benchmark of PTQ methods under the MXFP4 format. Through systematic evaluation, we find that methods like GPTQ consistently deliver strong performance, whereas rotation-based approaches, which are almost used by all state-of-the-art approaches, suffer from severe incompatibility with MXFP4. We further provide the first in-depth analysis of this conflict, tracing its root to a fundamental mismatch between MXFP4's PoT (power-of-two) block scaling and the redistribution of outlier energy via global rotation. Building on this insight, we propose a simple yet effective block rotation strategy that adapts rotation-based methods to MXFP4, leading to substantial accuracy improvements across diverse LLMs. Our findings not only offer clear guidance for practitioners but also set a foundation for advancing PTQ research under emerging low-precision formats.
• Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい成功を収めたが、その急速に成長するスケールは、メモリ、計算、エネルギーの禁止的なコストを課している。 ポストトレーニング量子化(PTQ)は効率的なデプロイメントのための有望なソリューションであるが、正確なW4A4量子化を実現することは依然としてオープンな課題である。 既存のほとんどのメソッドはINT4フォーマット用に設計されているが、MXFP4 - 様々なハードウェアサポート(NVIDIA、AMD、Intel)を備えた新しいFP4フォーマット - の出現により、現在のテクニックの適用性に関する疑問が持ち上がった。 本研究では,MXFP4フォーマットに基づくPTQ手法の総合的なベンチマークを確立する。 系統的な評価により,GPTQのような手法は一貫して高い性能を提供するのに対し,ローテーションベースの手法は,ほぼすべての最先端手法で使われているが,MXFP4との深刻な不整合に悩まされていることがわかった。 さらに, MXFP4 の PoT ブロックスケーリングと大域回転による外周エネルギーの再分配の基本的なミスマッチにそのルーツを辿る。 この知見に基づいて,MXFP4 にローテーション法を適用した簡易かつ効果的なブロック回転戦略を提案する。 本研究は,実践者に対して明確なガイダンスを提供するだけでなく,新たな低精度フォーマットの下でPTQ研究を進めるための基盤も確立した。

関連論文リスト

• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• A Comprehensive Evaluation on Quantization Techniques for Large Language Models [46.75040730001041]
  後学習量子化(PTQ)は、大規模言語モデル(LLM)のメモリフットプリントと計算オーバーヘッドを大幅に削減する。 我々は、最先端の手法を幅広く検討し、同じ条件下で総合的な評価を行い、公正な比較を行う。 最新のMXFP4およびNVFP4データフォーマットとその性能評価を行った。
  論文  参考訳（メタデータ） (2025-07-23T11:21:21Z)
• FP4 All the Way: Fully Quantized Training of LLMs [26.195547788434908]
  主に4ビット浮動小数点(FP4)の精度を用いて,大規模言語モデル(LLM)の完全量子化訓練(FQT)を実演する。 ブロックサイズ,スケーリングフォーマット,ラウンドメソッドなど,FP4の主要な設計選択について検討する。
  論文  参考訳（メタデータ） (2025-05-25T12:14:25Z)
• Quartet: Native FP4 Training Can Be Optimal for Large Language Models [27.800012997794987]
  大規模言語モデル(LLM)モデルを低精度で直接訓練することは、計算コストに対処する方法を提供する。 NVIDIAの最近のBlackwellアーキテクチャは、FP4変種を使用した非常に低精度な操作を容易にする。 提案手法は, 高精度なFP4トレーニングを実現するための新しい手法である。
  論文  参考訳（メタデータ） (2025-05-20T17:55:50Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• AMXFP4: Taming Activation Outliers with Asymmetric Microscaling Floating-Point for 4-bit LLM Inference [6.699442219974261]
  AMXFP4は4ビットの非対称なFPフォーマットで、どちらも非対称な共有スケールで処理する。 AMXFP4はVQAでMXFP4を3%上回り、CSQAで1.6%上回る。
  論文  参考訳（メタデータ） (2024-11-15T03:11:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。