論文の概要: Align, Then Correct: Training-Free Two-Stage Low-Rank Compensation for Extremely Quantized Large Language Models

• arxiv url: http://arxiv.org/abs/2610.08164v1
• Date: Tue, 06 Oct 2026 11:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.960057
• Title: Align, Then Correct: Training-Free Two-Stage Low-Rank Compensation for Extremely Quantized Large Language Models
• Title（参考訳）: 極端に量子化された大規模言語モデルのためのトレーニング不要な2段階低ランク補償
• Abstract要約: 低ランク量子化誤差補償(LQEC)は、攻撃的な重み量子化の下で失われた精度を回復する。 既存の補償器は2つの共有単純化によって制限されていることを示す。 本稿では,2段階のクローズドフォームフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.974090237284312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank quantization error compensation (LQEC) recovers the accuracy lost under aggressive weight quantization by attaching a closed-form rank-$r$ adapter beside each frozen quantized weight, without any training. We show that existing compensators are limited by two shared simplifications. They calibrate symmetrically, evaluating the full-precision and compensated weights on the same activation, which yields a compensation target that is inherently high-rank -- so a fixed rank budget captures only a small fraction of it. And they minimize only the second-order term of the loss, although the compensated model is not stationary: a first-order descent direction larger than the applied compensation itself remains in every layer, and no reconstruction objective can absorb it. We propose a two-stage closed-form framework that removes both simplifications. Stage 1 aligns each layer's output with the full-precision model under a Fisher-weighted asymmetric objective, concentrating the rank budget on a rank-compressible target. Stage 2 re-measures statistics on the compensated model and applies a rank-constrained natural-gradient step that absorbs the remaining first-order signal. Every adapter is the result of a single truncated SVD; backward passes serve only to collect statistics. At 2 bits under QuIP#, our method reduces WikiText-2 perplexity from 12.43 to 10.26 on Qwen3-8B and from 21.11 to 13.22 on Qwen3-4B. On the held-out C4 corpus, it recovers 51% and 84% of the gap to FP16, versus 31% and 63% for the strongest baseline, with consistent gains in the seven-task zero-shot average, at higher bit-widths, and under a distinct quantizer.
• Abstract（参考訳）: 低ランク量子化誤差補償(LQEC)は、凍結された各量子化重量の横にクローズドフォームのランク-$r$アダプタを装着することにより、アグレッシブウェイト量子化の下で失われた精度を回復する。 既存の補償器は2つの共有単純化によって制限されていることを示す。 彼らは対称的に校正し、同じアクティベーション上での完全な精度と補償重量を評価します。 また、補償されたモデルが静止していないにもかかわらず、損失の2次項のみを最小限に抑え、適用された補償自体よりも大きい1次降下方向が各層に残っており、再建対象が吸収されない。 本稿では,2段階のクローズドフォームフレームワークを提案する。 ステージ1は、各層の出力をフィッシャー重み付けされた非対称な目的の下で全精度モデルと整合させ、ランク圧縮可能なターゲットにランク予算を集中させる。 ステージ2は補償されたモデルに関する統計を再測定し、残りの1次信号を吸収するランク制約された自然勾配のステップを適用する。 各アダプタは1つのトランクされたSVDの結果であり、後方通過は統計収集にのみ役立ちます。 Qwen3-8BではWikiText-2の難易度を12.43から10.26、Qwen3-4Bでは21.11から13.22に削減する。 ホールドアウトされたC4コーパスでは、ギャップの51%と84%がFP16に回復し、最強のベースラインでは31%と63%が回復する。

関連論文リスト

• Softmax Reparameterization for Output-Head Quantization [9.854920382071983]
  後学習法は量子化の前に関数的に等価な出力ヘッドを探索する。 線形ソフトマックスヘッドの場合、これらのシフトは完全精度の予測を正確に保存する。 シフト互換ヘッドでは、シフトは推論操作を追加しない。
  論文  参考訳（メタデータ） (2026-09-25T14:01:25Z)
• The Undetected Damage of Quantization on Retrieval and How to Fix It [51.02977749156532]
  分類精度を保った量子モデルでは,トップ1検索結果の14ドルから46%の値がまだ変化していることを示す。 この失敗を2つの上位モデルスコア間のギャップに結び付け、そのギャップを使用して、定量化された回答をいつ信頼するかを決めます。 この差が最大の丸め誤差の2倍を超える場合にのみ、トップ1結果が量子化を継続することが保証されていることを示す。
  論文  参考訳（メタデータ） (2026-09-21T09:26:35Z)
• QuaSAR: Quantization Compensation via Stable Activation-Aware Rank Truncation [0.0]
  閉形残差補償によるモデル精度の復元 低ビットW4A4設定では、このゲーティング機構は数値解法故障と予測不可能な量子化誤差を区別できない。 逆転前の崩壊方向を除去するパラメータフリーな逆解法を提案する。
  論文  参考訳（メタデータ） (2026-08-14T10:00:36Z)
• Quantization Dominates Rank Reduction for KV-Cache Compression [0.0]
  量子化は、モデルと圧縮レベルに応じて、4-364 PPLのランク低下を一貫して上回る。 我々は、ソフトマックスフィッシャー計量の下で、投射損傷が1方向に3 x 2 (2b) の量子化損傷を超える結果によってこれを定式化する。
  論文  参考訳（メタデータ） (2026-04-13T14:06:18Z)
• Only relative ranks matter in weight-clustered large language models [0.0]
  大規模言語モデル(LLM)は数十億のパラメータを含むが、多くの正確な値は必須ではない。 重みの相対的なランクは、ある接続が正確な大きさよりも強いか弱いかを示す。 Llama 3.1-8B-Instruct と SmolLM2-135M では、各行列を16-64個の異なる値に減らし、再トレーニングすることなく高い精度を保っている。
  論文  参考訳（メタデータ） (2026-03-18T16:55:13Z)
• LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning [50.89500210372827]
  リソース制約のあるエッジデバイスに大規模言語モデル(LLM)をデプロイするには、量子化と微調整が不可欠である。 LoTA-QAFは量子化LDM用に特別に設計された新しい微調整法である。 MMLUベンチマークでは,16ビットLORAを最大5.14%越えて,量子化モデルの性能を効果的に回復する。
  論文  参考訳（メタデータ） (2025-05-24T14:47:28Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression [7.6131620435684875]
  SLIMは新しいワンショット圧縮フレームワークで、ハードウェアフレンドリーな量子化、スパーシティ、低ランク近似を統合する。 SLIMはモデル精度を最大5.66%(LLaMA-2-7B)まで改善し、4ビットの重み量子化で2:4の間隔で計算し、従来の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-12T18:36:07Z)
• Towards Accurate Post-Training Quantization of Vision Transformers via Error Reduction [48.740630807085566]
  ビジョントランスフォーマー(ViT)のPTQ(Post-training Quantization)は,学術的,産業的にも注目されている。 現在の方法は、量子化された重みとアクティベーションの間の複雑な相互作用を考慮できないため、量子化エラーと準最適性能をもたらす。 本稿では,活性化と重み量子化による量子化誤差を逐次低減する2段階PTQ法であるERQを提案する。
  論文  参考訳（メタデータ） (2024-07-09T12:06:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。