論文の概要: SoScale: Second-Order Scale Search for FP4 Quantization
- arxiv url: http://arxiv.org/abs/2611.16426v1
- Date: Thu, 12 Nov 2026 07:36:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.391664
- Title: SoScale: Second-Order Scale Search for FP4 Quantization
- Title(参考訳): SoScale: FP4量子化のための2階スケール検索
- Abstract要約: MXFP4、NVFP4、HiF4のような実践的なフォーマットは、4ビット浮動小数点ペイロードをブロックワイドまたは階層的なスケールコードで組み合わせている。
既存のスケールサーチ手法は局所的要素分割誤差を最小限に抑える。
階層型FP4量子化のための2階重み付きスケールコード探索法SoScaleを提案する。
- 参考スコア(独自算出の注目度): 30.20385824861738
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-bit quantization reduces the memory footprint and inference cost of large language models (LLMs), yet accurate FP4 quantization remains challenging. Practical formats such as MXFP4, NVFP4, and HiF4 pair a 4-bit floating-point payload with block-wise or hierarchical scale codes, making accuracy highly sensitive to how each local distribution is scaled. Default maximum-absolute-value scaling preserves dynamic range, but can spend scarce FP4 levels on rarely occupied outlier regions and leave dense tensor values poorly resolved. Existing scale-search methods minimize local element-wise reconstruction error, optimizing tensor fidelity rather than layer-output fidelity. We propose SoScale, a second-order weight scale-code search method for hierarchical FP4 quantization. SoScale searches hardware-valid scale codes under a Hessian-aware layer reconstruction objective and couples this search with GPTQ-style error recovery, selecting scales by their impact on layer outputs. Across Qwen3 models, SoScale consistently reduces downstream quantization degradation under MXFP4, NVFP4, and HiF4.
- Abstract(参考訳): 低ビット量子化は、大きな言語モデル(LLM)のメモリフットプリントと推論コストを削減するが、正確なFP4量子化は依然として困難である。
MXFP4、NVFP4、HiF4のような実践的なフォーマットは、4ビット浮動小数点のペイロードをブロックワイドまたは階層的なスケールのコードで組み合わせ、各ローカル分布のスケール方法に非常に敏感である。
デフォルトの最大絶対値のスケーリングはダイナミックレンジを保ちますが、ほとんど占有されていない非定常領域ではFP4レベルが不足し、高密度テンソル値が未解決のままです。
既存のスケールサーチ手法は局所的要素分割誤差を最小限に抑え, 層出力忠実度よりもテンソル忠実度を最適化する。
階層型FP4量子化のための2階重み付きスケールコード探索法SoScaleを提案する。
SoScaleは、Hessian-aware層再構築の目的の下でハードウェア価スケールコードを検索し、この検索をGPTQスタイルのエラーリカバリと組み合わせ、層出力への影響によってスケールを選択する。
Qwen3モデル全体で、SoScaleはMXFP4、NVFP4、HiF4のダウンストリーム量子化劣化を一貫して低減する。
関連論文リスト
- Deflating the Hessian: Rank-4 W4A4 Quantization for Multimodal Diffusion Transformers [4.3209092324747775]
拡散変圧器において、低ランク分岐は、各重量を低ビット残差と高精度の低ランク成分に分解することで、4ビット重量活性化(W4A4)後トレーニング量子化(PTQ)の損失を軽減することができる。
しかし、既存の低ランクPTQアプローチでは、低ランク補償と残留量子化を別々に最適化するか、アクティベーション量子化誤差を明示的にモデル化せずに2階重み更新に依存する。
HSVDQuantは、低ランク支援W4A4 PTQを結合キャリブレーション問題としてモデル化し、最適化に基づく解法を共同目的から導出する統合フレームワークである。
論文 参考訳(メタデータ) (2026-10-08T06:22:19Z) - H-Scale: Hessian-Guided Scale Refinement for NVFP4 Sub-Byte LLM Inference [27.189669587707858]
H-ScaleはNVFP4グループ単位のスケール改善のための軽量な後処理手法である。
これは様々なNVFP4パイプラインにおけるRTNスタイルのスケールセレクションのドロップイン代替として設計されている。
H-Scaleは一般に幅広いNVFP4ベースラインを改善している。
論文 参考訳(メタデータ) (2026-08-28T09:22:17Z) - FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling [23.78963716646984]
FOCUSは、FP4最適化のためのエンドツーエンドのスケール学習を備えた、トレーニング後の量子化フレームワークである。
量子化と量子化スケールの密結合を学習可能な完全精度係数で緩和する。
FOCUSはMXFP4フォーマットとNVFP4フォーマットの両方で最先端のFP4精度を実現する。
論文 参考訳(メタデータ) (2026-08-03T07:54:56Z) - ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization [40.425536766574844]
NVFP4量子化のための単純かつ効率的なスケール最適化法としてScaleSweepを提案する。
LlamaとQwenの実験では、ScaleSweepは量子化性能を一貫して改善している。
特に、重み、アクティベーション、KVキャッシュ、クエリ状態の積極的なエンドツーエンド量子化の下では、ScaleSweepは完全な精度性能の93%以上を保っている。
論文 参考訳(メタデータ) (2026-05-30T08:26:16Z) - SOAR: Scale Optimization for Accurate Reconstruction in NVFP4 Quantization [19.022444007775896]
NVFP4は、最近、大規模言語モデルの効率的な4ビットマイクロスケーリングフォーマットとして登場した。
既存の方法は、しばしば、柔軟性のないスケールの選択と、量子化と量子化のスケールの併用による、最適以下の性能をもたらす。
NVFP4量子化の精度を向上する新しい学習後量子化フレームワークであるSOAR(Scale Optimization for Accurate Reconstruction)を提案する。
論文 参考訳(メタデータ) (2026-05-12T15:13:18Z) - Normalized Architectures are Natively 4-Bit [49.13186675123547]
重みと隠れ表現を単位超球面に制限するアーキテクチャであるnGPTは、本質的に低精度算術よりも堅牢である。
本手法は,最大3B/30Bパラメータの1.2B密度モデルとハイブリッド(Mamba-Transformer)MoEモデルの両方で検証する。
論文 参考訳(メタデータ) (2026-05-07T11:54:07Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳(メタデータ) (2026-02-04T02:54:37Z) - GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。
我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。
GAQATフレームワークの有効性を実験により検証した。
論文 参考訳(メタデータ) (2024-12-07T06:07:21Z) - GWQ: Gradient-Aware Weight Quantization for Large Language Models [56.22507677736051]
大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。
LLMを低ビットに圧縮することで、リソース制約のあるデバイスにデプロイできる。
低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
論文 参考訳(メタデータ) (2024-10-30T11:16:04Z) - FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。
本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。
LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文 参考訳(メタデータ) (2024-10-12T08:10:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。