Fugu-MT 論文翻訳(概要): H-Scale: Hessian-Guided Scale Refinement for NVFP4 Sub-Byte LLM Inference

論文の概要: H-Scale: Hessian-Guided Scale Refinement for NVFP4 Sub-Byte LLM Inference

arxiv url: http://arxiv.org/abs/2608.28113v1
Date: Fri, 28 Aug 2026 09:22:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.262743
Title: H-Scale: Hessian-Guided Scale Refinement for NVFP4 Sub-Byte LLM Inference
Title（参考訳）: H-Scale: NVFP4サブバイトLPM推論のためのヘシアンガイド付きスケールリファインメント
Abstract要約: H-ScaleはNVFP4グループ単位のスケール改善のための軽量な後処理手法である。これは様々なNVFP4パイプラインにおけるRTNスタイルのスケールセレクションのドロップイン代替として設計されている。 H-Scaleは一般に幅広いNVFP4ベースラインを改善している。
参考スコア（独自算出の注目度）: 27.189669587707858
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: The NVIDIA Blackwell architecture, with native support for the ultra-fine-grained NVFP4 format, opens new opportunities for accelerating large language model (LLM) inference. NVFP4's micro-block design, such as a group size of 16, offers strong representational flexibility for capturing local weight distributions and isolating outliers, but it also introduces a large and highly sensitive space of per-group scaling factors. Existing post-training quantization (PTQ) methods primarily focus on refining quantized weight values, leaving this scale-selection step underexplored. To address this gap, we propose \textbf{H-Scale}, a lightweight post-processing method for NVFP4 per-group scale refinement. Instead of minimizing plain weight reconstruction error, H-Scale selects hardware-valid group scales using a diagonal second-order proxy derived from calibration activations, thereby targeting layer output perturbation more directly. It is designed as a drop-in replacement for RTN-style scale selection in diverse NVFP4 pipelines, requires only modest offline calibration, and introduces strictly zero overhead at inference time. Under a fixed evaluation protocol, experiments on mainstream LLMs show that H-Scale generally improves a broad range of NVFP4 baselines and brings several variants closer to the BF16 reference.
Abstract（参考訳）: NVIDIA Blackwellアーキテクチャは、超微細なNVFP4フォーマットをネイティブにサポートし、大規模言語モデル(LLM)推論を加速する新たな機会を開く。グループサイズ16のようなNVFP4のマイクロブロック設計は、局所的な重量分布を捕捉し、アウトリーチを分離する強力な表現柔軟性を提供するが、グループ単位のスケーリング因子の大規模かつ高感度な空間も導入する。既存のトレーニング後の量子化法(PTQ)は、主に量子化された重み値の精細化に重点を置いており、このスケール選択のステップは過小評価されている。このギャップに対処するために,NVFP4グループ単位のスケール改善のための軽量後処理法である \textbf{H-Scale} を提案する。 H-Scaleは、平板重み復元誤差を最小化する代わりに、キャリブレーションアクティベーションから誘導される対角2階のプロキシを用いて、ハードウェア正則群スケールを選択し、これにより、より直接的に層出力の摂動をターゲットとする。これは様々なNVFP4パイプラインにおけるRTNスタイルのスケールセレクションのドロップイン代替として設計されており、緩やかなオフラインキャリブレーションしか必要とせず、推論時に厳密にオーバーヘッドをゼロにする。固定評価プロトコルの下では、H-Scaleは一般に幅広いNVFP4ベースラインを改善し、BF16参照に近づいたいくつかの変種をもたらすことを示す。

関連論文リスト

FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling [23.78963716646984]
FOCUSは、FP4最適化のためのエンドツーエンドのスケール学習を備えた、トレーニング後の量子化フレームワークである。量子化と量子化スケールの密結合を学習可能な完全精度係数で緩和する。 FOCUSはMXFP4フォーマットとNVFP4フォーマットの両方で最先端のFP4精度を実現する。
論文参考訳（メタデータ） (2026-08-03T07:54:56Z)
ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization [40.425536766574844]
NVFP4量子化のための単純かつ効率的なスケール最適化法としてScaleSweepを提案する。 LlamaとQwenの実験では、ScaleSweepは量子化性能を一貫して改善している。特に、重み、アクティベーション、KVキャッシュ、クエリ状態の積極的なエンドツーエンド量子化の下では、ScaleSweepは完全な精度性能の93%以上を保っている。
論文参考訳（メタデータ） (2026-05-30T08:26:16Z)
SOAR: Scale Optimization for Accurate Reconstruction in NVFP4 Quantization [19.022444007775896]
NVFP4は、最近、大規模言語モデルの効率的な4ビットマイクロスケーリングフォーマットとして登場した。既存の方法は、しばしば、柔軟性のないスケールの選択と、量子化と量子化のスケールの併用による、最適以下の性能をもたらす。 NVFP4量子化の精度を向上する新しい学習後量子化フレームワークであるSOAR(Scale Optimization for Accurate Reconstruction)を提案する。
論文参考訳（メタデータ） (2026-05-12T15:13:18Z)
FAAR: Format-Aware Adaptive Rounding for NVFP4 [10.642666144689787]
エッジデバイス上の大規模言語モデル(LLM)は、非常に低ビット量子化を必要とする。既存の量子化法では、NVFP4数値格子の不均一性を考慮できない。我々は,NVFP4 フォーマットに適した学習可能なラウンドリング戦略である Format-Aware Adaptive Rounding (FAAR) を提案する。
論文参考訳（メタデータ） (2026-03-23T06:29:01Z)
Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
論文参考訳（メタデータ） (2025-09-27T09:22:21Z)
Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
論文参考訳（メタデータ） (2025-01-28T18:04:50Z)
GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
論文参考訳（メタデータ） (2024-12-07T06:07:21Z)
Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
論文参考訳（メタデータ） (2024-11-26T15:35:44Z)
FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文参考訳（メタデータ） (2024-10-12T08:10:28Z)
SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-05-23T16:21:48Z)
LLM-FP4: 4-Bit Floating-Point Quantized Transformers [38.23587031169402]
大規模言語モデル(LLM)における重みとアクティベーションを4ビット浮動小数点値まで定量化するLLM-FP4を提案する。整数量子化と比較すると、浮動小数点(FP)量子化はより柔軟であり、長い尾や鐘のような分布を扱うことができる。 LLaMA-13Bの重みとアクティベーションの両方を4ビットに定量化し,平均スコア63.1を得る。
論文参考訳（メタデータ） (2023-10-25T17:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。