論文の概要: Recover-LoRA for Aggressive Quantization: Reclaiming Accuracy in 2-Bit Language Models via Low-Rank Adaptation with Knowledge Distillation on Synthetic Data

• arxiv url: http://arxiv.org/abs/2606.04238v1
• Date: Tue, 02 Jun 2026 21:37:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.395572
• Title: Recover-LoRA for Aggressive Quantization: Reclaiming Accuracy in 2-Bit Language Models via Low-Rank Adaptation with Knowledge Distillation on Synthetic Data
• Title（参考訳）: 攻撃的量子化のためのRecover-LoRA:合成データに基づく知識蒸留による低ランク適応による2ビット言語モデルの精度回復
• Authors: Devleena Das, Rajeev Patwari, Elliott Delaye, Ashish Sirasao,
• Abstract要約: Recover-LoRAはデータフリーの精度回復法で、もともとは一般モデルの重み劣化のために開発された。 Recover-LoRAはゲートとアップ層の2ビット量子化から失われる精度を回復できることを示す。 この結果から,Recover-LoRAは,運用環境におけるアグレッシブ・ウェイト・圧縮のための実用的ポスト量子化精度回復ツールであることがわかった。
• 参考スコア（独自算出の注目度）: 3.056033670271077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aggressive weight quantization to 2-bit precision offers substantial throughput and memory gains for large language model (LLM) inference, but typically incurs severe accuracy degradation. These gains are particularly relevant for edge and on-device deployment, where memory capacity and bandwidth are primary constraints. In this work, we extend Recover-LoRA -- a lightweight, data-free accuracy recovery method originally developed for general model weight corruption -- to the setting of ultra-low-bit quantization. We propose a selective mixed-precision strategy in which only gate and up projection layers of the MLP are quantized to 2-bit (W2), while all other linear layers remain at higher precision, yielding a mixed-precision GateUp configuration. We demonstrate via roofline analysis across three model families (4B--20B) and two hardware platforms that a W4/W2-GateUp deployment (4-bit base with 2-bit gate/up) delivers 7.5--23.3\% TPS improvement over uniform W4 depending on model and context length, while confining quantization error to a predictable subset of layers. We then apply Recover-LoRA -- training low-rank adapters on the quantized layers via logit distillation with synthetic data -- to recover accuracy lost from 2-bit quantization of the gate and up layers. In a case study on Qwen3-4B, Recover-LoRA achieves 80--95\% accuracy recovery on 9 of 12 benchmarks, using only 10k synthetic training samples and no labeled data. We further demonstrate that synthetic data performs comparably to curated labeled data for distillation-based recovery, and that recovery generalizes to out-of-distribution evaluation tasks. Our results present Recover-LoRA as a practical post-quantization accuracy recovery tool for aggressive weight compression in deployment settings.
• Abstract（参考訳）: 2ビット精度への攻撃的な重み量子化は、大きな言語モデル(LLM)の推論にかなりのスループットとメモリゲインをもたらすが、典型的には深刻な精度劣化を引き起こす。 これらのゲインは特に、メモリ容量と帯域幅が主な制約となるエッジおよびデバイス上のデプロイメントに関係している。 本研究は,一般モデルの重み付けのために開発された軽量でデータフリーな精度回復手法であるRecover-LoRAを,超低ビット量子化の設定にまで拡張する。 MLPのゲートおよびアッププロジェクション層のみが2ビット(W2)に量子化され、他のすべての線形層は高い精度で保持され、混合精度のゲートアップ構成が得られる選択的な混合精度戦略を提案する。 3つのモデルファミリ(4B-20B)と2つのハードウェアプラットフォーム(W4/W2-GateUpデプロイメント(4ビットベースと2ビットゲート/アップ)のルーフライン解析により、モデルとコンテキスト長に応じて、均一なW4よりも7.5--23.3\%TPSの改善を実現し、予測可能なレイヤサブセットに量子化エラーを収束させる。 次に,2ビットのゲートおよびアップ層の量子化から失われる精度を回復するために,ロジット蒸留による量子化層上の低ランクアダプターのトレーニングを行うRecover-LoRAを適用する。 Qwen3-4Bのケーススタディにおいて、Recover-LoRAは、12のベンチマークのうち9つのベンチマークのうち80--95%の精度回復を達成する。 さらに, 蒸留回収のためのラベル付きラベル付きデータに対して, 合成データが比較可能であり, 回収がアウト・オブ・ディストリビューション評価タスクに一般化されることを実証した。 この結果から,Recover-LoRAは,運用環境におけるアグレッシブ・ウェイト・圧縮のための実用的ポスト量子化精度回復ツールであることがわかった。

関連論文リスト

• QuantSR+: Pushing the Limit of Quantized Image Super-Resolution Networks [63.04549067734431]
  低ビット量子化は超解像モデル(SR)の圧縮に広く用いられている。 しかし、SRモデルが超低精度(2-4ビット)にプッシュされると、性能は急激に低下する。 本稿では,量子化演算子,ネットワーク設計,トレーニング最適化を改善する統一フレームワークQuantSR+を提案する。
  論文  参考訳（メタデータ） (2026-05-21T11:38:52Z)
• SOAR: Scale Optimization for Accurate Reconstruction in NVFP4 Quantization [19.022444007775896]
  NVFP4は、最近、大規模言語モデルの効率的な4ビットマイクロスケーリングフォーマットとして登場した。 既存の方法は、しばしば、柔軟性のないスケールの選択と、量子化と量子化のスケールの併用による、最適以下の性能をもたらす。 NVFP4量子化の精度を向上する新しい学習後量子化フレームワークであるSOAR(Scale Optimization for Accurate Reconstruction)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T15:13:18Z)
• SERQ: Saliency-Aware Low-Rank Error Reconstruction for LLM Quantization [7.372706701787234]
  学習後量子化(PTQ)は,大規模言語モデルを効率的に展開するための一般的な手法として登場した。 SERQは1つの低ランク補償行列を用いる低ビットLLM推論のためのサリエンシ対応誤差再構成法である。
  論文  参考訳（メタデータ） (2026-03-09T10:04:12Z)
• RaBiT: Residual-Aware Binarization Training for Accurate and Efficient LLMs [5.782015253162346]
  残留バイナライゼーションは、バイナリ層を積み重ねることで、マットルフリーな推論を可能にする。 本稿では,残差階層をアルゴリズム的に強制することでコダプタ化を解決する新しい量子化フレームワークであるRaBiTを提案する。 RaBiTは最先端のパフォーマンスを実現し、ハードウェア集約型ベクトル量子化(VQ)の手法と競合する。
  論文  参考訳（メタデータ） (2026-02-05T06:41:11Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• QUAD: Quantization and Parameter-Efficient Tuning of LLM with Activation Decomposition [21.13478769431063]
  QUID(Quantization with Activation Decomposition)は、Singular Value Decomposition(SVD)を利用して、有効4ビット量子化のためのアクティベーションアウトリアを抑制するフレームワークである。 W4A4の量子化では94パーセントの精度、W4A4/A8では98%の精度、Llama-3およびQwen-2.5モデルのパラメータ効率の微調整を実現している。
  論文  参考訳（メタデータ） (2025-03-25T05:03:56Z)
• 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
  低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。 低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T06:06:11Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。