論文の概要: OSFP4: Joint Optimization of Diagonal Smoothing and Block Scales for NVFP4 Quantization

• arxiv url: http://arxiv.org/abs/2610.08231v1
• Date: Tue, 06 Oct 2026 12:17:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.975388
• Title: OSFP4: Joint Optimization of Diagonal Smoothing and Block Scales for NVFP4 Quantization
• Title（参考訳）: OSFP4:NVFP4量子化のための対角平滑化とブロックスケールの統合最適化
• Abstract要約: NVFP4は、大規模言語モデル(LLM)推論のための魅力的なデータ型である。 NVFP4を用いた精度の保存には、注意深い量子化が必要である。 我々は、NVFP4(OSFP4)のための最適化平滑化とスケーリングと呼ばれる新しい量子化手法を開発した。
• 参考スコア（独自算出の注目度）: 8.704509381712498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: NVFP4 is an attractive datatype for large language model (LLM) inference, offering compact storage and native tensor-core acceleration. However, preserving accuracy using NVFP4 requires careful quantization. In this work we develop a novel quantization scheme called Optimized Smoothing and Scaling for NVFP4 (OSFP4). For each linear projection it uses a diagonal smoothing matrix whose entries are optimized to minimize the squared matrix-product quantization error under NVFP4, taking into account the rounding procedure that is used (either round-to-nearest, or GPTQ-style successive interference cancellation). This requires performing joint optimization on the smoothing entries as well as the block scales, which is facilitated by analyzing a multiplicative-dither FP4 quantizer instead of the fixed deterministic one. Experiments show that OSFP4 achieves the highest average accuracy among the evaluated competitors in the corresponding quantization settings, while retaining approximately 94-97\% of vendor NVFP4 prefill throughput on the measured workloads. Our code is available in https://github.com/neriahbd/OSFP4
• Abstract（参考訳）: NVFP4は、大規模言語モデル(LLM)推論のための魅力的なデータ型であり、コンパクトストレージとネイティブテンソルコアアクセラレーションを提供する。 しかし、NVFP4を用いた保存精度は慎重に量子化する必要がある。 本研究では,NVFP4(OSFP4)の最適平滑化とスケーリングという新しい量子化手法を提案する。 各線形射影に対して、NVFP4の下での2乗行列-積量子化誤差を最小限に抑えるためにエントリを最適化した対角的滑らか化行列を用いており、ラウンド・トゥ・アネレスト(英語版)(ラウンド・トゥ・アネレスト、GPTQスタイルの逐次干渉キャンセル)を考慮に入れている。 このためには、スムーズなエントリとブロックスケールを共同で最適化することが必要であり、これは固定決定論的ではなく、乗法的なディザーFP4量子化器を解析することで容易である。 実験によると、OSFP4は、測定されたワークロードに対して、ベンダーのNVFP4プリフィルスループットの94～97倍のスループットを維持しながら、対応する量子化設定において、評価された競合他社の中で最も高い平均精度を達成する。 私たちのコードはhttps://github.com/neriahbd/OSFP4で利用可能です。

関連論文リスト

• FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling [23.78963716646984]
  FOCUSは、FP4最適化のためのエンドツーエンドのスケール学習を備えた、トレーニング後の量子化フレームワークである。 量子化と量子化スケールの密結合を学習可能な完全精度係数で緩和する。 FOCUSはMXFP4フォーマットとNVFP4フォーマットの両方で最先端のFP4精度を実現する。
  論文  参考訳（メタデータ） (2026-08-03T07:54:56Z)
• Characterizing the Impact of NVFP4 Quantization for Low-Power Edge AI Deployment [9.460818703756205]
  エッジでのエネルギー効率のよいニューラルネットワーク推論では、演算コスト、メモリトラフィック、エネルギ、ストレージオーバーヘッドを削減し、許容できる精度を維持する必要がある。 本稿では,エッジ効率ニューラルネットワークにおけるNVFP4量子化のアブレーションに着目した研究を行う。
  論文  参考訳（メタデータ） (2026-06-03T03:09:59Z)
• ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization [40.425536766574844]
  NVFP4量子化のための単純かつ効率的なスケール最適化法としてScaleSweepを提案する。 LlamaとQwenの実験では、ScaleSweepは量子化性能を一貫して改善している。 特に、重み、アクティベーション、KVキャッシュ、クエリ状態の積極的なエンドツーエンド量子化の下では、ScaleSweepは完全な精度性能の93%以上を保っている。
  論文  参考訳（メタデータ） (2026-05-30T08:26:16Z)
• SOAR: Scale Optimization for Accurate Reconstruction in NVFP4 Quantization [19.022444007775896]
  NVFP4は、最近、大規模言語モデルの効率的な4ビットマイクロスケーリングフォーマットとして登場した。 既存の方法は、しばしば、柔軟性のないスケールの選択と、量子化と量子化のスケールの併用による、最適以下の性能をもたらす。 NVFP4量子化の精度を向上する新しい学習後量子化フレームワークであるSOAR(Scale Optimization for Accurate Reconstruction)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T15:13:18Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
  ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。 既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。 本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
  論文  参考訳（メタデータ） (2024-03-19T08:40:21Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。