論文の概要: Calibration of Large Model Quantization based on HiFloat4 Format
- arxiv url: http://arxiv.org/abs/2610.41112v2
- Date: Tue, 03 Nov 2026 04:34:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.3759
- Title: Calibration of Large Model Quantization based on HiFloat4 Format
- Title（参考訳）: HiFloat4フォーマットによる大規模モデル量子化の校正
- Abstract要約: HiFloat4 (HiF4)は、3レベルのスケーリング階層を持つBlock Floating-Point (BFP)フォーマットを採用した競合相手として登場した。
我々は、HiF4フォーマットに基づくモデル量子化をさらに強化するために、HiGPTQ、HiAutoRound、HiFlatQuantの3つのキャリブレーション手法を提案する。
- 参考スコア（独自算出の注目度）: 22.96635946514655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantization of Large Language Models (LLMs) has become increasingly important for reducing the computational costs and resource requirements for practical deployment. Growing interest in this area has motivated the community to move beyond 8-bit quantization towards 4-bit precision, leading to the development of customized 4-bit formats such as MXFP4 and NVFP4. Recently, HiFloat4 (HiF4) has emerged as a competitive alternative which adopts a Block Floating-Point (BFP) format with a three-level scaling hierarchy, thereby achieving a significantly larger dynamic range. While quantization can substantially reduce memory usage and accelerate inference, it frequently introduces accuracy degradation. Calibration is therefore essential for narrowing the performance gap between low-precision quantized models and their full-precision counterparts. Nevertheless, existing calibration methods are mainly designed and validated using integer-precision formats, such as INT4, lacking support for HiF4 due to its hierarchical BFP structure. In this paper, we investigate three calibration approaches, namely HiGPTQ, HiAutoRound, and HiFlatQuant, to further enhance model quantization based on the HiF4 format. Extensive experiment s demonstrate that all three proposed approaches improve inference accuracy compared with direct HiF4 conversion, reducing the gap between HiF4 and BF16 to less than 1% and outperforming the state-of-the-art NVFP4 format across various models and downstream tasks.
- Abstract（参考訳）: 大規模言語モデル(LLMs)の量子化は,現実的な展開のための計算コストとリソース要求を減らすためにますます重要になっている。
この領域への関心が高まり、コミュニティは8ビット量子化を超えて4ビットの精度に移行し、MXFP4やNVFP4といったカスタマイズされた4ビットフォーマットの開発に繋がった。
最近、HiFloat4 (HiF4) は3段階のスケーリング階層を持つブロック浮動小数点 (BFP) フォーマットを採用する競合の代替として登場した。
量子化はメモリ使用量を大幅に削減し、推論を加速するが、精度の低下を頻繁に導入する。
したがって、キャリブレーションは、低精度量子化モデルとフル精度のモデルの間の性能ギャップを狭めるのに不可欠である。
それでも既存の校正法は主にINT4のような整数精度の形式を用いて設計・検証されており、階層的なBFP構造のためにHiF4をサポートしていない。
本稿では、HiGPTQ、HiAutoRound、HiFlatQuantの3つのキャリブレーション手法について検討し、HiF4フォーマットに基づくモデル量子化をさらに強化する。
大規模な実験では、提案した3つの手法が直接HiF4変換と比較して推論精度を向上し、HiF4とBF16のギャップを1%以下に減らし、様々なモデルや下流タスクで最先端のNVFP4フォーマットより優れていることを示した。
関連論文リスト
- H-Scale: Hessian-Guided Scale Refinement for NVFP4 Sub-Byte LLM Inference [27.189669587707858]
H-ScaleはNVFP4グループ単位のスケール改善のための軽量な後処理手法である。
これは様々なNVFP4パイプラインにおけるRTNスタイルのスケールセレクションのドロップイン代替として設計されている。
H-Scaleは一般に幅広いNVFP4ベースラインを改善している。
論文 参考訳（メタデータ） (2026-08-28T09:22:17Z) - FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling [23.78963716646984]
FOCUSは、FP4最適化のためのエンドツーエンドのスケール学習を備えた、トレーニング後の量子化フレームワークである。
量子化と量子化スケールの密結合を学習可能な完全精度係数で緩和する。
FOCUSはMXFP4フォーマットとNVFP4フォーマットの両方で最先端のFP4精度を実現する。
論文 参考訳（メタデータ） (2026-08-03T07:54:56Z) - HiFloat4 Format for End-To-End Reinforcement Learning Post-Training of Large Language Models [9.149747042283197]
本報告では,FP4RLのロールアウトとトレーニングポリシの両方を4ビット精度で動作させる,最初のエンドツーエンドのポストトレーニングについて述べる。
軽量な修正であるRollout-ResQは、ロールアウトの計算フットプリントを膨らませることなく、アウトリア駆動のアンダーフローに損失した精度の大部分を回復する。
論文 参考訳（メタデータ） (2026-07-29T06:28:26Z) - FourTune: Towards Fully 4-Bit Efficient Post-Training for Diffusion Models [50.66675248468456]
FourTuneは、エンドツーエンドのW4A4G4パラダイムに基づいた拡散モデルのための効率的な後トレーニングフレームワークである。
FourTuneはメモリオーバーヘッドを2.25$times$に減らし、エンドツーエンドのトレーニングスループットをBF16 LoRAと比較して2.27$times$にする。
論文 参考訳（メタデータ） (2026-07-07T00:34:30Z) - HiFloat4 Format for Language Model Pre-training on Ascend NPUs [32.1837830814629]
最近の研究は、4ビット浮動小数点(FP4)フォーマットが大規模言語モデル(LLM)における線形GEMM操作にうまく適用可能であることを示した。
本研究では,Huawei Ascend NPU向けに最近提案されたHiFloat4 FP4フォーマットを調査し,大規模トレーニング環境でMXFP4と体系的に比較する。
論文 参考訳（メタデータ） (2026-04-09T23:50:56Z) - Adaptive Block-Scaled Data Types [7.634741713346681]
NVFP4はその誤差分布に悩まされ、ほぼ最大値上の大量の量子化誤差をもたらす。
入力値の分布に適応できる新しい適応ブロックスケールデータ型を設計する。
IF4は、既存の4ビットのブロックスケールフォーマットより優れており、量子化トレーニング中に損失が小さくなり、トレーニング後の量子化において多くのタスクにおいて高い精度を達成する。
論文 参考訳（メタデータ） (2026-03-30T17:59:33Z) - INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。
本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。
FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
論文 参考訳（メタデータ） (2025-10-29T15:11:53Z) - Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。
本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。
MR-GPTQは最先端の精度で一致または性能が向上することを示す。
論文 参考訳（メタデータ） (2025-09-27T09:22:21Z) - Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。
この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
論文 参考訳（メタデータ） (2025-01-28T18:04:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。