論文の概要: Beyond 4 bits: Data-Centric Post-training Quantization and Recovery

• arxiv url: http://arxiv.org/abs/2610.28537v1
• Date: Tue, 20 Oct 2026 17:10:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.940772
• Title: Beyond 4 bits: Data-Centric Post-training Quantization and Recovery
• Title（参考訳）: 4ビットを超える:データ中心のポストトレーニング量子化とリカバリ
• Abstract要約: 後トレーニング量子化(PTQ)は、限られた計算量とデータで訓練されたモデルの重みを圧縮する。 実装の詳細として扱われる3つの選択について検討するが、2ビットの品質は決定する。 このレシピは、ベクターコードブック表現、小さなタスクアラインなキャリブレーションミックス、安価なコードブックのみのリカバリステージを含む。
• 参考スコア（独自算出の注目度）: 11.5055461509532
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Post-training quantization (PTQ) compresses the weights of a trained model with limited compute and data. Down to 4 bits it is near-lossless, but at 2 bits scalar PTQ configurations fall to chance-level accuracy. We study three choices usually treated as implementation details that matter little at 4 bits but decide 2-bit quality: the quantization representation, the calibration data, and the recovery fine-tuning data, across six dense and mixture-of experts models (ranging from $3.8$ to $32$B parameters). Representation is the largest factor and vector codebooks restore usable models where scalar PTQ pipelines collapse. Most of the remaining loss in accuracy is on \emph{generative} tasks, and the amount of performance drop is model-dependent. Furthermore, at a short recovery budget, calibration and recovery data are coupled. The best recovery data depends on the calibration data, so the two must be chosen jointly. The resulting recipe involves a vector codebook representation, a small task-aligned calibration mixture, and an inexpensive codebook-only recovery stage. Including codebooks, it uses about $2.3$ effective bits per weight and retains $89$ to $97\%$ of full-precision question-answering (QA) accuracy where scalar PTQ is at chance, and, including recovery, uses $1.4$ to $30\times$ less compute than the strongest quantization-aware-training (QAT) baseline.
• Abstract（参考訳）: 後トレーニング量子化(PTQ)は、限られた計算量とデータで訓練されたモデルの重みを圧縮する。 最大4ビットは、ほぼロスレスであるが、2ビットのスカラーPTQ構成は、偶然の精度に落ちる。 量子化表現(quantization representation)、キャリブレーションデータ( calibration data)、リカバリ微調整データ(Recovery fine-tuning data)の3つの選択肢を,6つの高密度および混合専門家モデル(3.8$から32$Bパラメータ)で比較検討した。 表現は最大の要素であり、ベクトルコードブックはスカラーPTQパイプラインが崩壊した使用可能なモデルを復元する。 残りの精度の損失のほとんどは \emph{generative} タスクであり、パフォーマンス低下の量はモデル依存である。 さらに、短時間の回収予算では、校正と回収データを結合する。 最高のリカバリデータはキャリブレーションデータに依存するため、これら2つを共同で選択する必要がある。 得られたレシピは、ベクターコードブック表現、小さなタスク整列キャリブレーション混合、安価なコードブックのみのリカバリ段階を含む。 コードブックを含めると、1ウェイトあたりの有効ビット数は約2.3ドルであり、スカラーPTQの確率の高い完全精度の質問応答(QA)精度は89ドルから9.7ドル%であり、リカバリを含む最強の量子化学習(QAT)ベースラインよりも1.4ドルから30ドル安い計算量である。

関連論文リスト

• QTEA: Ternary LLMs with Sparse Residual Salient Weight and By-Column Optimization [9.778816613621848]
  3次値に重みを量子化し,残差補償器として正重みを用いるサブ2ビットPTQフレームワークQTEAを提案する。 Qwen3-14Bでは、QTEAは全ての重量を1重量あたり1.7ビットに圧縮し、最強の3次PTQベースラインの平均精度を16.7%向上させた。 また、WikiTextとC4では、それぞれ1.40$times$と2.61$times$低いパープレキシティを達成している。
  論文  参考訳（メタデータ） (2026-08-31T18:33:36Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• Qrazor: Reliable and Effortless 4-bit LLM Quantization by Significant Data Razoring [2.983583925806601]
  QRazorは、ウェイト、アクティベーション、KVキャッシュの4ビット量子化をトランスフォーマーベース言語モデルで実現可能な、シンプルで効果的な量子化方式である。 まず、8ビットまたは16ビットの整数を用いてデータを量子化し、絶対的な最大スケーリングで完全精度のモデルに近い精度で保存し、次に、重要なデータレイソーシング(SDR)技術を用いて4ビットに圧縮する。
  論文  参考訳（メタデータ） (2025-01-23T02:20:08Z)
• ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
  大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。 本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。 ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-18T22:01:55Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。