論文の概要: DynamicPTQ: Mitigating Activation Quantization Collapse via Residual-Stream Dynamics

• arxiv url: http://arxiv.org/abs/2606.12487v1
• Date: Wed, 10 Jun 2026 09:25:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.362749
• Title: DynamicPTQ: Mitigating Activation Quantization Collapse via Residual-Stream Dynamics
• Title（参考訳）: DynamicPTQ:Residual-Stream Dynamicsによるアクティベーション量子化崩壊の軽減
• Authors: Zimo Zhao, Maolin Wang, Bowen Yu, Bowen Liu, Xiao Han, Xiangyu Zhao,
• Abstract要約: 学習後の量子化(PTQ)は、効率的な大規模言語モデル推論に不可欠である。 重要な困難は、活性化範囲を極端に支配し、量子化誤差を増幅する大規模な活性化である。 位相対応型混合精度アクティベーション量子化のための動的ポストトライニング量子化ポリシであるDynamicPTQを提案する。
• 参考スコア（独自算出の注目度）: 21.115748726323606
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Post-training quantization (PTQ) is essential for efficient large language model inference, but reliably quantizing activations remains challenging when weights, activations, and KV caches are all quantized to 4-bit precision. A key difficulty lies in massive activations, whose extreme values dominate the activation range and amplify quantization errors. State-of-the-art methods mainly mitigate massive activations through transformation-based smoothing, such as orthogonal rotations and affine scaling, but overlook the cross-layer dynamics of the residual stream. In this paper, we show that massive activations emerge and disappear in a phase-wise pattern across network depth, triggering large residual changes. These changes cause newly injected layer-wise updates to dominate the 4-bit quantization scale and weaken historical residual information. To characterize this behavior, we introduce Jump Ratio and Historical Feature SNR. This suggests that static transformation-based smoothing cannot fully resolve dynamic quantization instability caused by cross-layer residual changes. Based on this analysis, we propose DynamicPTQ, a Dynamic Post-Training Quantization policy for phase-aware mixed-precision activation quantization. DynamicPTQ identifies quantization-sensitive layers from residual-stream dynamics and assigns 8-bit activation precision only to these layers, while keeping weights, KV caches, and other activations in 4-bit precision. It can be directly integrated with strong PTQ baselines such as QuaRot, SpinQuant, and FlatQuant. Experiments on LLaMA-2 and LLaMA-3 show that DynamicPTQ consistently improves perplexity and zero-shot QA performance under W4A4KV4 quantization, while achieving 1.05 to 1.07 times throughput improvement with modest memory overhead. These results demonstrate a practical path toward robust low-bit LLM inference.
• Abstract（参考訳）: ポストトレーニング量子化(PTQ)は、効率的な大規模言語モデル推論には不可欠であるが、重み、アクティベーション、KVキャッシュがすべて4ビット精度で量子化される場合、確実にアクティベーションを定量化するのは難しい。 重要な困難は、活性化範囲を極端に支配し、量子化誤差を増幅する大規模な活性化である。 最先端の手法は、直交回転やアフィンスケーリングのような変換に基づく平滑化を通じて、大規模な活性化を緩和するが、残留ストリームの層間ダイナミクスを見越す。 本稿では,ネットワーク深度にまたがる位相ワイドパターンにおいて,大規模なアクティベーションが出現して消失し,大きな残差が生じることを示す。 これらの変更により、新たに注入されたレイヤワイズ更新が4ビット量子化スケールを支配し、過去の残余情報を弱める。 この挙動を特徴付けるために,ジャンプ比と歴史的特徴SNRを導入する。 このことは、静的な変換に基づく平滑化は、層間残差変化による動的量子化不安定性を完全に解決できないことを示唆している。 この分析に基づいて、位相認識型混合精度アクティベーション量子化のための動的ポストトライニング量子化ポリシーであるDynamicPTQを提案する。 DynamicPTQは、残留ストリームのダイナミックスから量子化に敏感な層を特定し、重み、KVキャッシュ、その他のアクティベーションを4ビット精度で保持しながら、8ビットのアクティベーション精度をこれらの層に割り当てる。 QuaRot、SpinQuant、FlatQuantといった強力なPTQベースラインと直接統合することができる。 LLaMA-2とLLaMA-3の実験により、DynamicPTQはW4A4KV4量子化下でのパープレキシティとゼロショットQA性能を一貫して改善し、メモリオーバーヘッドの少ない1.05倍から1.07倍のスループット向上を実現した。 これらの結果は、ロバストな低ビットLSM推論への実践的な道筋を示す。

関連論文リスト

• STaMP: Sequence Transformation and Mixed Precision for Low-Precision Activation Quantization [21.93314755695813]
  量子化は、生成AIモデルの推論レイテンシ、電力、メモリフットプリントを低減するための重要な方法である。 テキストシーケンス変換と混合精度(STaMP)量子化を提案する。
  論文  参考訳（メタデータ） (2025-10-30T17:53:42Z)
• Energy-Efficient and Dequantization-Free Q-LLMs: A Spiking Neural Network Approach to Salient Value Mitigation [18.963480523099694]
  スパイキングニューラルネットワーク(SNN)は、複雑なMACを時間蓄積(ACC)に置き換えることで、混合精度の記憶とエネルギー効率の計算を支援する そこで我々はSpykeQuantを提案する。これは精度混合量子化を正常な値を持つアクティベーションに選択的に適用し、それらをバイナリスパイクカウントに再エンコードする。 実験の結果、SpikeQuantは、W4A4量子化の下では一貫してほぼFP16のパープレキシティを達成し、既存の方法に比べて最大4.6倍のエネルギーコストを削減した。
  論文  参考訳（メタデータ） (2025-10-22T11:50:00Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• PTQ4DiT: Post-training Quantization for Diffusion Transformers [52.902071948957186]
  ポストトレーニング量子化(PTQ)は、計算とメモリフットプリントを大幅に削減できる高速でデータ効率のソリューションとして登場した。 提案するPTQ4DiTは,DiTのための特別に設計されたPTQ手法である。 PTQ4DiTは8ビットの精度でDiTの量子化に成功した。
  論文  参考訳（メタデータ） (2024-05-25T02:02:08Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。