論文の概要: GPTQ-intrinsic LoRA: A Near-optimal Algorithm for Low-precision Quantization with Low-rank Adaptation

• arxiv url: http://arxiv.org/abs/2606.01412v1
• Date: Sun, 31 May 2026 19:17:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.689073
• Title: GPTQ-intrinsic LoRA: A Near-optimal Algorithm for Low-precision Quantization with Low-rank Adaptation
• Title（参考訳）: GPTQ-inrinsic LoRA:低ランク適応による低精度量子化のための近似アルゴリズム
• Authors: Shihao Zhang, Rayan Saab,
• Abstract要約: 一般的な治療法は、量子化された重みを低ランクの補正で増大させ、$Wapprox Q+LR$という形の近似を与えることである。 低ランク補正を直接GPTQ型量子化パスに組み込む訓練不要アルゴリズムであるGPTQ-inrinsic LoRAを提案する。 Qwen3言語モデルとDeiTビジョントランスフォーマーの実験により、GPTQ固有のLoRAはGPTQとGPTQよりも改善され、低ランクの補償が得られた。
• 参考スコア（独自算出の注目度）: 5.886065213861507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization is widely used for compressing large neural networks, but aggressive low-bit quantization can significantly degrade model quality. A common remedy is to augment the quantized weights with a low-rank correction, leading to approximations of the form $W\approx Q+LR$. In this paper, we study this low-precision plus low-rank representation through the layer-wise reconstruction objective $\|XW-X(Q+LR)\|_F^2$, where $X$ is a calibration matrix. We establish, to our knowledge, the first information-theoretic lower bounds for this problem under finite-alphabet and bounded low-rank compensation constraints. We then propose GPTQ-intrinsic LoRA, a training-free algorithm that incorporates the low-rank correction directly into a GPTQ-style quantization pass by appropriately augmenting the calibration Hessian. For the choice $L=V_r$, where $V_r$ contains the top right singular vectors of $X$, we prove layer-wise reconstruction error bounds in which the usual GPTQ dependence on $\|X\|_F^2$ is replaced by the rank-$r$ residual $\|X-X_r\|_F^2$, up to regularization terms. Under natural structural assumptions, these bounds match the information-theoretic lower bounds in their dominant scaling, up to constants and mild factors. We also introduce Bid-Up, a fixed-grid quantization refinement step that can be alternated with optimal low-rank compensation with guaranteed non-increasing layer-wise reconstruction error. Experiments on Qwen3 language models and DeiT vision transformers show that GPTQ-intrinsic LoRA improves over GPTQ and GPTQ followed by low-rank compensation, with additional gains from refinement loops.
• Abstract（参考訳）: トレーニング後の量子化は大規模ニューラルネットワークの圧縮に広く用いられているが、攻撃的な低ビット量子化はモデル品質を著しく劣化させる可能性がある。 一般的な治療法は、量子化された重みを低ランクの補正で増量し、$W\approx Q+LR$という形の近似を与えることである。 本稿では,この低精度と低ランク表現を,X$がキャリブレーション行列であるような層次再構成対象$\|XW-X(Q+LR)\|_F^2$を用いて検討する。 我々の知る限りでは、この問題に対する最初の情報理論の下限を有限アルファベットおよび有界低ランク補償制約の下で確立する。 そこで我々は,低ランク補正を直接GPTQ型量子化パスに組み込む学習自由アルゴリズムであるGPTQ-inrinsic LoRAを提案する。 選択$L=V_r$ に対して、$V_r$ は$X$ のトップ右特異ベクトルを含むので、通常の GPTQ の $\|X\|_F^2$ への依存が正規化項までランク-$r$残差 $\|X-X_r\|_F^2$ に置き換わる層次再構成誤差境界を証明できる。 自然な構造的仮定の下では、これらの境界は支配的なスケーリングにおいて情報理論の下限と一致する。 またBid-Upという固定格子量子化改善ステップを導入し、最適低ランク補償と保証された非増加層ワイド再構成誤差を交互に行うことができる。 Qwen3言語モデルとDeiTビジョントランスフォーマーの実験により、GPTQ-inrinsic LoRAはGPTQとGPTQよりも改善され、低ランクの補償が得られた。

関連論文リスト

• ProjQ: Project-and-Quantize for Adapter-Aware LLM Compression [6.552705478160877]
  トレーニング後の量子化(PTQ)とローランド適応(LoRA)は、LLM(Large Language Model)の効率的なデプロイメントのための標準パイプラインである。 量子化雑音を低ランク多様体に制約する新しいフレームワークである textbfProjQ を提案する。 ProjQは、量子化エラー補償と下流タスクの微調整の両方において、既存のメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-30T02:54:40Z)
• High-Rate Quantized Matrix Multiplication II [29.75700570685703]
  我々は, 実用的なLCM量子化アルゴリズム(GPTQ)を改良するために, 給水をどのように利用できるかを示す。 スカラーINT量子化器のみを使用する最近のスキーム(WaterSIC')を解析し、そのハイレート性能をベースフリー(つまり、$_X$の行列式を特徴とする)として示す。
  論文  参考訳（メタデータ） (2026-05-13T16:47:25Z)
• Preserve-Then-Quantize: Balancing Rank Budgets for Quantization Error Reconstruction in LLMs [6.571619511143774]
  量子化エラー再構成(QER)は、量子化エラーを再現するためにランク=$r$の補正を用いて、重量を$mathbfW approx mathbfQ + mathbfLmathbfR$と近似することで、PTQ(Post-Training Quantization)の精度損失を低減する。 SRR(Structured Residual Residual Restruction)は、量子化前のアクティベーションスケールウェイトのトップ$k$特異部分空間を保存し、残余のみを量子化し、残余を$rとするランク割り当てフレームワークである。
  論文  参考訳（メタデータ） (2026-02-02T12:02:21Z)
• Singular Bayesian Neural Networks [1.2891210250935148]
  ベイズニューラルネットワークはキャリブレーションされた不確かさを約束するが、標準平均体ガウス後方に対する$O(mn)$パラメータを必要とする。 我々は、ルベーグ測度に関して特異な後部を誘導し、ランク-$r$多様体に集中する。 複素項が $sqrtr(m+n)$ ではなく $sqrtm n$ としてスケールするPAC-Bayes 一般化境界を導出し、誤差を最適化とランク誘導バイアスに分解する損失境界を証明する。
  論文  参考訳（メタデータ） (2026-01-30T23:06:34Z)
• BayesQ: Uncertainty-Guided Bayesian Quantization [1.565870461096057]
  BayesQはトレーニング後の量子化フレームワークである。 後続の期待損失の下で量子化を最適化するのは、これが初めてである。 BayesQは低ビット量子化を不確実性を考慮したリスク最小化として再設定する。
  論文  参考訳（メタデータ） (2025-11-11T22:36:19Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Settling the Sample Complexity of Online Reinforcement Learning [92.02082223856479]
  バーンインコストを発生させることなく、最小限の最適後悔を実現する方法を示す。 最適値/コストや一定の分散といった問題依存量の影響を明らかにするために、我々の理論を拡張します。
  論文  参考訳（メタデータ） (2023-07-25T15:42:11Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。