論文の概要: OCGQuant: Outlier-Companion Grouping for NVFP4 Quantization

• arxiv url: http://arxiv.org/abs/2609.00066v1
• Date: Sun, 30 Aug 2026 16:00:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:35.816202
• Title: OCGQuant: Outlier-Companion Grouping for NVFP4 Quantization
• Title（参考訳）: OCGQuant: NVFP4量子化のためのoutlier-companion Grouping
• Abstract要約: Outlier-Companion Grouping (OCG) は、NVFP4アクティベーションブロック構成を改善するために、低マグニチュードのコンパニオンチャネルと外部チャネルを適応的にペアリングする。 OCGQuantは、評価されたPTQ手法の中で、WikiText-2の難易度が最も低く、下流の平均精度が高い。
• 参考スコア（独自算出の注目度）: 24.00034777837764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: NVFP4 is an efficient microscaling format for low-bit inference, but activation outliers can still degrade quantization accuracy within NVFP4 blocks. Within each quantization block, large activations can dominate the block scale, increasing the quantization error of the remaining values sharing the same scale. Existing post-training quantization (PTQ) methods mitigate outlier errors through strategies such as mixed precision, rotation, or residual compensation, but these approaches are either not specifically tailored to NVFP4 or introduce additional computation. In this work, we revisit NVFP4 from a channel-grouping perspective and define the reducible error incurred by remaining block values under the scale set by the block maximum as Collateral Quantization Error. Based on this insight, we propose OCGQuant, a post-training quantization method centered on Outlier-Companion Grouping (OCG), which adaptively pairs outlier channels with low-magnitude companion channels to improve NVFP4 activation block composition. Experiments on Llama3 and Qwen3 show that OCGQuant achieves the lowest WikiText-2 perplexity and highest average downstream accuracy among evaluated PTQ methods, while maintaining prefill speedup close to RTN and matching its peak decoding memory. Code is available at https://github.com/Eshamont/OCGQuant.
• Abstract（参考訳）: NVFP4は低ビット推論のための効率的なマイクロスケーリングフォーマットであるが、アクティベーションアウトレイアはNVFP4ブロック内でも量子化の精度を低下させることができる。 各量子化ブロック内では、大きなアクティベーションがブロックスケールを支配し、同じスケールを共有する残りの値の量子化誤差を増大させる。 既存のトレーニング後の量子化(PTQ)手法は、混合精度、回転、残留補償などの戦略によって外乱誤差を緩和するが、これらの手法はNVFP4に特化していない。 本研究では,チャネルグループの観点からNVFP4を再検討し,ブロック最大値が設定したスケールで残したブロック値から得られた可逆誤差を,余剰量子化誤差として定義する。 この知見に基づいて,OCGQuantを提案する。OCG(Outlier-Companion Grouping)を中心として,低次チャネルとアダプティブ・ペアリングしてNVFP4アクティベーションブロックの構成を改善する,トレーニング後の量子化手法である。 Llama3 と Qwen3 の実験により,OCGQuant は RTN に近いプリフィル速度を維持しながら,そのピークデコードメモリと一致しながら,評価された PTQ 手法の中で WikiText-2 の難易度が最も低く,平均ダウンストリーム精度が高いことが示されている。 コードはhttps://github.com/Eshamont/OCGQuant.comで入手できる。

関連論文リスト

• H-Scale: Hessian-Guided Scale Refinement for NVFP4 Sub-Byte LLM Inference [27.189669587707858]
  H-ScaleはNVFP4グループ単位のスケール改善のための軽量な後処理手法である。 これは様々なNVFP4パイプラインにおけるRTNスタイルのスケールセレクションのドロップイン代替として設計されている。 H-Scaleは一般に幅広いNVFP4ベースラインを改善している。
  論文  参考訳（メタデータ） (2026-08-28T09:22:17Z)
• PTQ4SNN: Membrane-Aware Post-Training Quantization for Spiking Neural Networks [51.21235018272886]
  スパイキングニューラルネットワーク(SNN)はスパースとイベント駆動の計算を可能にするが、その低ビット展開は不完全である。 本稿では,小さなキャリブレーションセットのみを用いて,重みと繰り返し膜状態の同時定量化を行う膜認識後量子化フレームワークPTQ4SNNを提案する。 静的および事象に基づく分類とセマンティックセグメンテーションの実験により、PTQ4SNNはW4量子化と約4ビットの膜精度の下でモデル精度を効果的に保存することを示した。
  論文  参考訳（メタデータ） (2026-08-07T10:16:25Z)
• SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference [4.219937026460372]
  SharQは、オンラインスパース-デンス分解による活性化空間とFP4量子化を橋渡しする。 スパースFP4 GEMMはバックボーンを処理し、密度の高いFP4 GEMMはマスク誘起活性化損失とスパースパス量子化誤差の両方を補償する。
  論文  参考訳（メタデータ） (2026-06-25T04:19:04Z)
• ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization [40.425536766574844]
  NVFP4量子化のための単純かつ効率的なスケール最適化法としてScaleSweepを提案する。 LlamaとQwenの実験では、ScaleSweepは量子化性能を一貫して改善している。 特に、重み、アクティベーション、KVキャッシュ、クエリ状態の積極的なエンドツーエンド量子化の下では、ScaleSweepは完全な精度性能の93%以上を保っている。
  論文  参考訳（メタデータ） (2026-05-30T08:26:16Z)
• InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization [16.236156118201116]
  低ビットアクティベーション量子化は、大規模言語モデル(LLM)デプロイメントにおいて依然として大きなボトルネックとなっている。 既存のトレーニング後の量子化手法は、ピーク、バランスチャネル、再構築エラーを最小限に抑える。 我々は,アクティベーション変換を量化器対応分布設計として再キャストし,情報理論の観点から量子化誤差を解析する。 我々は,Pak Suppression Orthogonal Transformation (PSOT) を用いて,アクティベーションをより量子化しやすい分布に整形する列車フリー手法であるInfoQuantを提案する。
  論文  参考訳（メタデータ） (2026-05-25T05:34:46Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• Improving Block-Wise LLM Quantization by 4-bit Block-Wise Optimal Float (BOF4): Analysis and Variations [22.127873567034825]
  大規模言語モデル(LLM)は、微調整と推論の両方で広範なメモリ容量を必要とする。 既存の手法では、NF4やAF4といったブロックワイド量子化技術がネットワーク重みに適用されている。 これらの量子化手法が最適以下の量子化誤差を引き起こすことを示す。
  論文  参考訳（メタデータ） (2025-05-10T14:00:15Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。