論文の概要: G$^2$PTQ: Improving LLM Post-Training Quantization with Generalized Gradient Compensation
- arxiv url: http://arxiv.org/abs/2609.31009v1
- Date: Fri, 25 Sep 2026 08:53:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.319236
- Title: G$^2$PTQ: Improving LLM Post-Training Quantization with Generalized Gradient Compensation
- Title（参考訳）: G$^2$PTQ:一般化勾配補償によるLLM後の量子化の改善
- Abstract要約: ポストトレーニング量子化(PTQ)は、大規模言語モデル(LLM)のメモリと計算フットプリントを再トレーニングせずに削減するための実践的なアプローチである。
本稿では,一般化勾配補償を用いた統一PTQフレームワークであるG$2$PTQを提案する。
- 参考スコア（独自算出の注目度）: 18.079409351358255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Post-training quantization (PTQ) is a practical approach to reducing the memory and computational footprint of large language models (LLMs) without retraining. GPTQ-based methods have become the de facto standard, yet they suffer from two complementary limitations. Methods with local, layer-wise objectives lack global supervision; while methods with global objectives fix their Hessian estimates at the start and ignore first-order gradients, so their guidance grows stale as quantization proceeds. This paper presents G$^2$PTQ, a unified PTQ framework with Generalized Gradient Compensation that integrates both first- and second-order information under a globally supervised, block-wise optimization objective. By refreshing gradient and Hessian estimates before quantizing each Transformer block, G$^2$PTQ avoids the staleness of prior global methods. Furthermore, to stabilize the exact first-order compensation, we introduce a trust-region scaling mechanism that dynamically bounds the gradient step to prevent exploding weight updates. Finally, we derive efficient implementations for block-wise Hessian approximation and exact gradient compensation. Experimental results on various model families and bit-widths demonstrate that G$^2$PTQ enables better alignment with the full-precision model, outperforming state-of-the-art baselines. Code is available at: https://github.com/G2PTQ/G2PTQ.
- Abstract（参考訳）: ポストトレーニング量子化(PTQ)は、大規模言語モデル(LLM)のメモリと計算フットプリントを再トレーニングせずに削減するための実践的なアプローチである。
GPTQベースのメソッドはデファクトスタンダードになっているが、2つの補完的な制限に悩まされている。
局所的、層的な目的を持つメソッドは、グローバルな監視を欠いているが、グローバルな目的を持つメソッドは、最初にヘッセン推定を修正し、一階勾配を無視する。
本稿では,G$^2$PTQについて述べる。G$^2$PTQは,一階情報と二階情報の両方をグローバルに教師付き,ブロックワイド最適化の目的の下で統合した一般化勾配補償を用いた統一PTQフレームワークである。
各トランスフォーマーブロックの量子化に先立って勾配とヘシアン推定をリフレッシュすることにより、G$^2$PTQは以前のグローバルメソッドの不安定さを回避する。
さらに, 正確な一階補償を安定化するために, 重力勾配を動的に拘束する信頼領域スケーリング機構を導入し, 爆発的な重量更新を防止する。
最後に、ブロックワイズ近似と正確な勾配補正のための効率的な実装を導出する。
各種モデルファミリおよびビット幅の実験結果から,G$^2$PTQにより,高精度モデルとの整合性が向上し,最先端のベースラインよりも優れたことを示す。
コードは、https://github.com/G2PTQ/G2PTQで入手できる。
関連論文リスト
- REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - GPTQ-intrinsic LoRA: A Near-optimal Algorithm for Low-precision Quantization with Low-rank Adaptation [5.886065213861507]
一般的な治療法は、量子化された重みを低ランクの補正で増大させ、$Wapprox Q+LR$という形の近似を与えることである。
低ランク補正を直接GPTQ型量子化パスに組み込む訓練不要アルゴリズムであるGPTQ-inrinsic LoRAを提案する。
Qwen3言語モデルとDeiTビジョントランスフォーマーの実験により、GPTQ固有のLoRAはGPTQとGPTQよりも改善され、低ランクの補償が得られた。
論文 参考訳（メタデータ） (2026-05-31T19:17:39Z) - LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。
LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
論文 参考訳（メタデータ） (2026-05-28T11:02:23Z) - Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。
VIGORはポリシーモデルのみを使用する単純な報酬です。
数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
論文 参考訳（メタデータ） (2026-05-11T03:15:37Z) - Two-Stage Grid Optimization for Group-wise Quantization of LLMs [7.058456257544851]
グループワイド量子化は、大規模言語モデルの低ビット量子化における精度劣化を緩和するための効果的な戦略である。
本稿では,階層的再構成損失を明示的に最小化するグループスケールの2段階最適化フレームワークを提案する。
提案手法は群量子化を常に強化し, 無視できるオーバーヘッドで高い精度を実現する。
論文 参考訳（メタデータ） (2026-02-02T14:12:34Z) - C$^2$GSPG: Confidence-calibrated Group Sequence Policy Gradient towards Self-aware Reasoning [54.705168477975384]
推論モデル学習のためのグループシーケンスポリシーグラディエント(GSPG)フレームワーク。
C$2$GSPGは、自信過剰を抑えながら推論性能を同時に向上させる。
論文 参考訳（メタデータ） (2025-09-27T05:24:51Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - Quantization Meets Reasoning: Exploring and Mitigating Degradation of Low-Bit LLMs in Mathematical Reasoning [39.56908863102256]
低ビット後の量子化は、より厳しい設定で69.81%の数学的推論を損なう。
デプロイクリティカルな2つの問題に,プロセスレベルの精度で対処する。
われわれの設定では、332のキュレートされたサンプルと1つのGPUで3～5分計算すると、完全な精度のベースラインに向かって4ビットの重み計算が引き起こされる。
論文 参考訳（メタデータ） (2025-05-16T12:11:40Z) - Adapting GT2-FLS for Uncertainty Quantification: A Blueprint Calibration Strategy [2.8391355909797644]
不確実性定量化(UQ)は、信頼性の高いディープラーニング(DL)モデルを高スループットアプリケーションにデプロイするために不可欠である。
General Type-2 Fuzzy Logic Systems (GT2-FLSs) は、不確実性を捉えるために予測インターバル(PI)を提供するUQに有効であることが証明されている。
本研究では,GT2-FLSのブループリント校正戦略を提案する。
論文 参考訳（メタデータ） (2025-04-09T16:32:43Z) - GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。
我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。
GAQATフレームワークの有効性を実験により検証した。
論文 参考訳（メタデータ） (2024-12-07T06:07:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。