論文の概要: BATQuant: Outlier-resilient MXFP4 Quantization via Learnable Block-wise Optimization

• arxiv url: http://arxiv.org/abs/2603.16590v1
• Date: Tue, 17 Mar 2026 14:37:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.345455
• Title: BATQuant: Outlier-resilient MXFP4 Quantization via Learnable Block-wise Optimization
• Title（参考訳）: BATQuant: 学習可能なブロックワイズ最適化による外圧抵抗MXFP4量子化
• Authors: Ji-Fu Li, Manyi Zhang, Xiaobo Xia, Han Bao, Haoli Bai, Zhenhua Dong, Xianzhi Yu,
• Abstract要約: MXFP4に適用した場合, 評価後量子化法は深刻な性能低下に悩まされる。 本稿では,MXFPと整合する変換を制限するBATQuantを提案する。 我々は、BATQuantが攻撃的なW4A4KV16構成の下で、最先端の新たな結果を確立することを示す。
• 参考スコア（独自算出の注目度）: 34.40883652676667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Microscaling floating-point (MXFP) formats have emerged as a promising standard for deploying Multi-modal Large Language Models (MLLMs) and Large Language Models (LLMs) on modern accelerator architectures. However, existing Post-Training Quantization (PTQ) methods, particularly rotation-based techniques designed for integer formats, suffer from severe performance collapse when applied to MXFP4. Recent studies attribute this failure to a fundamental format mismatch: global orthogonal rotations inadvertently transfer outlier energy across quantization blocks, inducing new outliers that disrupt local block-wise scaling, while often creating bimodal activation distributions that underutilize the limited quantization range. To address these issues, we propose BATQuant (Block-wise Affine Transformation), which restricts transformations to align with MXFP granularity to prevent cross-block outlier propagation, while relaxing orthogonality constraints to optimize distribution shaping. To ensure parameter efficiency, we introduce Global and Private Kronecker (GPK) decomposition to effectively reduces storage and runtime overhead and incorporate Block-wise Learnable Clipping to suppress residual outliers. Extensive experiments on both MLLMs and LLMs demonstrate that BATQuant establishes new state-of-the-art results under aggressive W4A4KV16 configurations, recovering up to 96.43% of full-precision performance on multimodal benchmarks and clearly outperforming existing methods across diverse tasks.
• Abstract（参考訳）: マイクロスケーリング浮動小数点(MXFP)フォーマットは、現代のアクセラレーターアーキテクチャにMLLM(Multi-modal Large Language Models)とLLM(Large Language Models)をデプロイするための有望な標準として登場した。 しかし、既存のPTQ(Post-Training Quantization)手法、特に整数形式用に設計された回転ベースの手法は、MXFP4に適用された場合、深刻な性能低下に悩まされる。 グローバル直交回転は、量子化ブロック間で不注意に外周エネルギーを伝達し、局所的なブロックワイドスケーリングを阻害する新しい外周を誘導する一方で、制限量子化範囲を弱めるバイモーダル活性化分布をしばしば生成する。 これらの問題に対処するため,直交制約を緩和して分布の最適化を行うとともに,MXFPの粒度に整合する変換を制限したBATQuant(Block-wise Affine Transformation)を提案する。 パラメータ効率を確保するため,Global and Private Kronecker(GPK)分解を導入し,ストレージとランタイムのオーバーヘッドを効果的に低減し,Block-wise Learnable Clippingを組み込んで残余のアウトリーを抑制する。 MLLMとLLMの広範な実験により、BATQuantは攻撃的なW4A4KV16構成の下で新しい最先端の結果を確立し、マルチモーダルベンチマークで96.43%の精度を回復し、様々なタスクにおいて既存のメソッドよりも明らかに優れていることを示した。

関連論文リスト

• Unveiling the Potential of Quantization with MXFP4: Strategies for Quantization Error Reduction [1.8599887993390827]
  Open Compute Project (OCP) Microscaling標準MXFP4はNVIDIAのNVFP4の精度に遅れている。 我々は,OAS(Overflow-Aware Scaling)とMBS(Macro Block Scaling)という,ソフトウェアのみの2つのテクニックを紹介した。 OASとMBSはMXFP4とNVFP4のエンドツーエンドの精度ギャップを平均で約10%から1%以下に減らす。
  論文  参考訳（メタデータ） (2026-01-30T23:24:17Z)
• ARCQuant: Boosting NVFP4 Quantization with Augmented Residual Channels for LLMs [4.431548809730958]
  ARCQuantは、Augmented Residual Channelsを通じてNVFP4パフォーマンスを向上させるフレームワークである。 ARCQuantは、複雑なタスクや下流タスクにおいて、完全精度のベースラインに匹敵する、最先端の精度を実現する。
  論文  参考訳（メタデータ） (2026-01-12T12:27:22Z)
• MX+: Pushing the Limits of Microscaling Formats for Efficient Large Language Model Serving [4.176741972965246]
  大規模言語モデル(LLM)のコスト効率向上のためには,データフォーマットの高精度化が不可欠である 本稿では,ブロック浮動小数点(BFP)フォーマットの最近の業界主導の変種に着目した。 マイクロスケーリング(MX)フォーマットへのシームレスな統合を目的とした費用対効果と非侵入性の拡張であるMX+を提案する。
  論文  参考訳（メタデータ） (2025-10-16T11:05:54Z)
• I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models [20.070306492164427]
  学習後の量子化は、大きな言語モデルの推論を加速する強力な技術として機能する。 既存の作業は、推論中にかなりの数の浮動小数点(FP)操作を必要とする。 この制限は、エッジとクラウドデバイス上の大きな言語モデルのデプロイを妨げる。 大規模言語モデルに適した整数のみの完全量子化PTQフレームワークであるI-LLMを提案する。
  論文  参考訳（メタデータ） (2024-05-28T05:56:11Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。