論文の概要: Calibration of Large Model Quantization based on HiFloat4 Format

• arxiv url: http://arxiv.org/abs/2610.41112v1
• Date: Fri, 30 Oct 2026 01:10:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.574146
• Title: Calibration of Large Model Quantization based on HiFloat4 Format
• Title（参考訳）: HiFloat4フォーマットによる大規模モデル量子化の校正
• Abstract要約: 大規模言語モデル(LLMs)の量子化は、実用的なデプロイのためのコンプタオプションコストとリソース要件を減らすために、ますます重要になってきています。 HiFloat4 (HiF4) は、Block FloatingPoint (BFP)formatwitha three-levelscalingar-hier chy を採用した競合相手として登場した。
• 参考スコア（独自算出の注目度）: 22.96635946514655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization of Large Language Models (LLMs) has be- coming increasingly important for reducing the computa- tional costs and resource requirements for practical deploy- ment.Growinginterestinthisareahasmotivatedthecommu- nity to move beyond 8-bit quantization towards 4-bit preci- sion, leading to the development of customized 4-bit formats such as MXFP4 and NVFP4. Recently, HiFloat4 (HiF4) has emerged as a competitive alternative which adopts a Block Floating-Point(BFP)formatwithathree-levelscalinghierar- chy, thereby achieving a significantly larger dynamic range. While quantization can substantially reduce memory usage and accelerate inference, it frequently introduces accuracy degradation. Calibration is therefore essential for narrowing theperformancegapbetweenlow-precisionquantizedmodels and their full-precision counterparts. Nevertheless, existing calibration methods are mainly designed and validated us- ing integer-precision formats, such as INT4, lacking support for HiF4 due to its hierarchical BFP structure. In this paper, weinvestigatethreecalibrationapproaches,namelyHiGPTQ, HiAutoRound, and HiFlatQuant, to further enhance model quantizationbasedontheHiF4format.Extensiveexperiments demonstratethatallthreeproposedapproachesimproveinfer- ence accuracy compared with direct HiF4 conversion, reduc- ing the gap between HiF4 and BF16 to less than 1% and out- performing the state-of-the-art NVFP4 format across various models and downstream tasks.
• Abstract（参考訳）: 大規模言語モデルの量子化(LLMs)は、実用的なデプロイのためのコンプタオプションコストとリソース要件を減らすために、ますます重要になっている。Growinginterestinthisareahasmotivatedthecommu-nityは、8ビット量子化を4ビットの精度に越え、MXFP4やNVFP4のようなカスタマイズされた4ビットフォーマットの開発につながっている。 最近、HiFloat4 (HiF4) はBlock Floating-Point (BFP)formatwitha three-levelscalinghierar-chy を採用した競合の代替として登場した。 量子化はメモリ使用量を大幅に削減し、推論を加速するが、精度の低下を頻繁に導入する。 したがって、キャリブレーションは性能ギャップを狭めるのに不可欠である。 それでも既存のキャリブレーション方式は、主にINT4のようなus-ing整数精度フォーマットを設計、検証しており、階層的なBFP構造のためにHiF4をサポートしていない。 本稿では,HiF4変換と直接HF4変換を比較検討し,HF4とBF16のギャップを1%以下にし,さまざまなモデルおよび下流タスクで最先端のNVFP4フォーマットを実行した。

関連論文リスト

• H-Scale: Hessian-Guided Scale Refinement for NVFP4 Sub-Byte LLM Inference [27.189669587707858]
  H-ScaleはNVFP4グループ単位のスケール改善のための軽量な後処理手法である。 これは様々なNVFP4パイプラインにおけるRTNスタイルのスケールセレクションのドロップイン代替として設計されている。 H-Scaleは一般に幅広いNVFP4ベースラインを改善している。
  論文  参考訳（メタデータ） (2026-08-28T09:22:17Z)
• FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling [23.78963716646984]
  FOCUSは、FP4最適化のためのエンドツーエンドのスケール学習を備えた、トレーニング後の量子化フレームワークである。 量子化と量子化スケールの密結合を学習可能な完全精度係数で緩和する。 FOCUSはMXFP4フォーマットとNVFP4フォーマットの両方で最先端のFP4精度を実現する。
  論文  参考訳（メタデータ） (2026-08-03T07:54:56Z)
• HiFloat4 Format for End-To-End Reinforcement Learning Post-Training of Large Language Models [9.149747042283197]
  本報告では,FP4RLのロールアウトとトレーニングポリシの両方を4ビット精度で動作させる,最初のエンドツーエンドのポストトレーニングについて述べる。 軽量な修正であるRollout-ResQは、ロールアウトの計算フットプリントを膨らませることなく、アウトリア駆動のアンダーフローに損失した精度の大部分を回復する。
  論文  参考訳（メタデータ） (2026-07-29T06:28:26Z)
• FourTune: Towards Fully 4-Bit Efficient Post-Training for Diffusion Models [50.66675248468456]
  FourTuneは、エンドツーエンドのW4A4G4パラダイムに基づいた拡散モデルのための効率的な後トレーニングフレームワークである。 FourTuneはメモリオーバーヘッドを2.25$times$に減らし、エンドツーエンドのトレーニングスループットをBF16 LoRAと比較して2.27$times$にする。
  論文  参考訳（メタデータ） (2026-07-07T00:34:30Z)
• HiFloat4 Format for Language Model Pre-training on Ascend NPUs [32.1837830814629]
  最近の研究は、4ビット浮動小数点(FP4)フォーマットが大規模言語モデル(LLM)における線形GEMM操作にうまく適用可能であることを示した。 本研究では,Huawei Ascend NPU向けに最近提案されたHiFloat4 FP4フォーマットを調査し,大規模トレーニング環境でMXFP4と体系的に比較する。
  論文  参考訳（メタデータ） (2026-04-09T23:50:56Z)
• Adaptive Block-Scaled Data Types [7.634741713346681]
  NVFP4はその誤差分布に悩まされ、ほぼ最大値上の大量の量子化誤差をもたらす。 入力値の分布に適応できる新しい適応ブロックスケールデータ型を設計する。 IF4は、既存の4ビットのブロックスケールフォーマットより優れており、量子化トレーニング中に損失が小さくなり、トレーニング後の量子化において多くのタスクにおいて高い精度を達成する。
  論文  参考訳（メタデータ） (2026-03-30T17:59:33Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。