論文の概要: FAAR: Format-Aware Adaptive Rounding for NVFP4

• arxiv url: http://arxiv.org/abs/2603.22370v1
• Date: Mon, 23 Mar 2026 06:29:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.106176
• Title: FAAR: Format-Aware Adaptive Rounding for NVFP4
• Title（参考訳）: FAAR:NVFP4のフォーマット対応ラウンド
• Authors: Hanglin Li, Shuchang Tian, Chen Lin, Zhiyong Zhao, Kun Zhan,
• Abstract要約: エッジデバイス上の大規模言語モデル(LLM)は、非常に低ビット量子化を必要とする。 既存の量子化法では、NVFP4数値格子の不均一性を考慮できない。 我々は,NVFP4 フォーマットに適した学習可能なラウンドリング戦略である Format-Aware Adaptive Rounding (FAAR) を提案する。
• 参考スコア（独自算出の注目度）: 10.642666144689787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying large language models (LLMs) on edge devices requires extremely low-bit quantization. Ultra-low precision formats such as NVFP4 offer a promising solution for reducing memory footprint and accelerating computation. However, existing quantization methods typically rely on conventional rounding strategies and fail to account for the non-uniformity of the NVFP4 numerical grid, resulting in suboptimal rounding decisions and amplified quantization errors. To address this, we propose Format-Aware Adaptive Rounding (FAAR), a learnable rounding strategy tailored for the NVFP4 format. Unlike conventional quantization paradigms, FAAR explicitly incorporates the non-uniform NVFP4 grid into the optimization process. By adaptively adjusting rounding decisions guided by loss gradients, our method effectively approximates the theoretically optimal quantization. To complement FAAR, we introduce a 2-stages Format Alignment (2FA) fine-tuning scheme that aligns LLM parameters layer-by-layer to the NVFP4 numerical space, further narrowing the performance gap. Remarkably, this learnable optimization incurs a minimal training overhead of only 4 GPU hours on Llama3-1B. Extensive experiments demonstrate the effectiveness of our approach. Compared with Round-to-Nearest (RTN), our method reduces perplexity on WikiText-2 from 14.28 to 12.60 on Llama3-1B and from 23.06 to 21.27 on Qwen3-1.7B. Additionally, our method consistently outperforms state-of-the-art approaches across various zero-shot downstream tasks.
• Abstract（参考訳）: エッジデバイスに大規模言語モデル(LLM)をデプロイするには、非常に低ビットの量子化が必要である。 NVFP4のような超低精度のフォーマットは、メモリフットプリントの削減と計算の高速化に有望なソリューションを提供する。 しかし、既存の量子化法は典型的には従来の丸め方略に依存しており、NVFP4数値格子の不均一性を考慮できないため、最適以下の丸めの決定と量子化誤差が増幅される。 そこで我々は,NVFP4フォーマットに適した学習可能なラウンドリング戦略であるFormat-Aware Adaptive Rounding (FAAR)を提案する。 従来の量子化パラダイムとは異なり、FAARは非一様NVFP4グリッドを最適化プロセスに明示的に組み込んでいる。 損失勾配によって導かれる丸めの決定を適応的に調整することにより、理論的に最適な量子化を効果的に近似する。 FAARを補完するため,LLMパラメータをNVFP4数値空間に階層的に整列する2段フォーマトアライメント(2FA)ファインチューニング方式を導入し,性能ギャップをさらに狭める。 注目すべきは、この学習可能な最適化は、Llama3-1B上でわずか4GPU時間で最小限のトレーニングオーバーヘッドを発生させることだ。 大規模な実験は、我々のアプローチの有効性を実証する。 Round-to-Nearest (RTN)と比較すると,WikiText-2ではLlama3-1Bでは14.28から12.60,Qwen3-1.7Bでは23.06から21.27にパープレキシティが低下する。 さらに,本手法は様々なゼロショットダウンストリームタスクにまたがる最先端の手法よりも一貫して優れている。

関連論文リスト

• ARCQuant: Boosting NVFP4 Quantization with Augmented Residual Channels for LLMs [4.431548809730958]
  ARCQuantは、Augmented Residual Channelsを通じてNVFP4パフォーマンスを向上させるフレームワークである。 ARCQuantは、複雑なタスクや下流タスクにおいて、完全精度のベースラインに匹敵する、最先端の精度を実現する。
  論文  参考訳（メタデータ） (2026-01-12T12:27:22Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• FP4 All the Way: Fully Quantized Training of LLMs [26.195547788434908]
  主に4ビット浮動小数点(FP4)の精度を用いて,大規模言語モデル(LLM)の完全量子化訓練(FQT)を実演する。 ブロックサイズ,スケーリングフォーマット,ラウンドメソッドなど,FP4の主要な設計選択について検討する。
  論文  参考訳（メタデータ） (2025-05-25T12:14:25Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
  我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。 我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
  論文  参考訳（メタデータ） (2024-10-17T11:46:33Z)
• AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
  ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。 既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。 本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
  論文  参考訳（メタデータ） (2024-03-19T08:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。