論文の概要: ReQuant: Fixed-Grid Discrete Refinement for Post-Training Quantization

• arxiv url: http://arxiv.org/abs/2608.07019v1
• Date: Fri, 07 Aug 2026 09:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.450913
• Title: ReQuant: Fixed-Grid Discrete Refinement for Post-Training Quantization
• Title（参考訳）: ReQuant: トレーニング後の量子化のための固定格子ディスクリファインメント
• Abstract要約: 後学習量子化(PTQ)は、大規模言語モデルの計算コストを削減するために広く用いられている。 本稿では,この段階でのバックプロパゲーションフリーな固定グリッド精錬法ReQuantを紹介する。 ReQuantは不均一PTQイニシャライザから量子化モデルを一貫して改善することを示す。
• 参考スコア（独自算出の注目度）: 10.647335642551193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization (PTQ) is widely used to reduce the memory and computational cost of large language models. Existing PTQ methods typically obtain an initial quantized model through heuristic rules or greedy optimization, and once quantization is completed the resulting integer assignments are usually treated as final. This observation motivates a complementary optimization stage within PTQ that keeps quantized weights improvable after an executable quantized model has been produced, while preserving the quantized format. We introduce ReQuant, a backpropagation-free fixed-grid refinement procedure for this stage. Agnostic to the PTQ initializer, ReQuant takes an existing quantized model as a feasible starting point and iteratively revisits its discrete weight assignments on the fixed quantization grid. Accepted updates strictly reduce the mean squared reconstruction error and remain on the original grid. In this way, ReQuant turns the initially fixed PTQ output into an iteratively optimizable discrete solution and serves as a plug-and-play post-processing stage for existing PTQ pipelines. Experiments across diverse model families, bit-widths, and downstream tasks show that ReQuant consistently improves quantized models from heterogeneous PTQ initializers, with especially large gains on simple initializers and lower bit-widths. Notably, ReQuant can refine a simple round-to-nearest initialization across multiple sweeps until it approaches or surpasses GPTAQ under the same quantization format. These results establish ReQuant as a practical complementary stage for further improving existing PTQ pipelines.
• Abstract（参考訳）: 後学習量子化(PTQ)は、大規模言語モデルのメモリと計算コストの削減に広く用いられている。 既存のPTQ法は通常、ヒューリスティックな規則やグレディな最適化を通じて初期量子化モデルを取得し、量子化が完了すると、結果の整数代入は通常終値として扱われる。 この観測はPTQ内の相補的な最適化段階を動機付け、量子化された形式を保ちながら、実行可能な量子化されたモデルが作成された後、量子化された重量を即効的に維持する。 本稿では,この段階でのバックプロパゲーションフリーな固定グリッド精錬法ReQuantを紹介する。 PTQ初期化器によらず、ReQuantは既存の量子化モデルを実現可能な出発点として、固定量子化グリッド上の離散重み付けを反復的に再検討する。 承認された更新は、平均2乗復元誤差を厳密に低減し、元のグリッドに留まる。 このように、ReQuantは初期固定されたPTQ出力を反復的に最適化可能な離散ソリューションに変換し、既存のPTQパイプラインのプラグ&プレイ後処理ステージとして機能する。 様々なモデルファミリ、ビット幅、下流タスクに対する実験により、ReQuantは不均一なPTQイニシャライザから連続的に量子化モデルを改良し、特に単純なイニシャライザと低ビット幅で大きく向上した。 ReQuantは、同じ量子化フォーマットでGPTAQに近づいたり超えたりするまで、複数のスイープで単純なラウンド・ツー・アレスト初期化を洗練できる。 これらの結果は、ReQuantを既存のPTQパイプラインをさらに改善するための実用的な補完段階として確立する。

関連論文リスト

• ScalePredictor: Instance-aware Scale Learning for Accurate Quantization of Vision Transformers [60.09590321091875]
  トレーニング後の量子化(PTQ)は、最小限のトレーニングオーバーヘッドを持つ小さなキャリブレーションセットを使用してモデルを圧縮することで、魅力的なソリューションを提供する。 既存のPTQ作業の多くは、全てのインスタンスに一様に適用される静的量子化パラダイムを採用している。 本稿では,ViTの高精度かつ効率的な量子化スケール学習のための動的量子化フレームワークであるScalePredictorを提案する。
  論文  参考訳（メタデータ） (2026-06-20T08:33:55Z)
• Understanding Quantization-Aware Training: Gradients at Quantized Weights Bias to the Low-Loss Basin [13.185423069216808]
  ポストトレーニング量子化は、訓練された完全精度モデルをタスクレベルの再トレーニングなしで低ビット重みに変換する。 PTQは適度なビット幅では効率的で精度が高いが、攻撃的なビット幅では急激に故障することがある。 本稿ではPTQ障害とQAT回復の両方を説明する統一的な幾何学的枠組みを提案する。
  論文  参考訳（メタデータ） (2026-06-08T04:21:39Z)
• Saliency-Aware Regularized Quantization Calibration for Large Language Models [12.382772717031772]
  トレーニング後の量子化(PTQ)は、大きな言語モデル(LLM)をメモリとレイテンシの制約下でデプロイするための効果的なアプローチである。 既存のPTQ手法の多くは、所定のキャリブレーションデータセット上の層次再構成誤差を最小限に抑えて量子化パラメータを決定する。 提案された正則化は、キャリブレーションの間、量子化された重みが元の重みに近づき続けることを奨励し、推論時の一般化を改善させる。
  論文  参考訳（メタデータ） (2026-05-07T05:33:26Z)
• SEPTQ: A Simple and Effective Post-Training Quantization Paradigm for Large Language Models [35.243028473008685]
  大規模言語モデル(LLM)のための単純かつ効果的な後学習量子化パラダイムを提案する。 SEPTQはまず、重み行列の各要素の重要度を算出し、静的なグローバルな方法で量子化位置を決定する。 従来の方法と比較すると、SEPTQはトレーニング後の量子化手順を2段階に単純化し、有効性と効率を同時に考慮している。
  論文  参考訳（メタデータ） (2026-04-11T08:23:50Z)
• LoaQ: Layer-wise Output Approximation Quantization [40.425536766574844]
  モデル量子化の自然な考え方は、各成分の量子化された出力を元の値に一致するように近似することである。 レイヤーワイズ・ポストトレーニング量子化(PTQ)は、せいぜい、重量の活性化を意識した近似しか達成できない。 出力レベルの整合性を明示する層ワイドPTQの出力近似法である$LoaQ$を提案する。
  論文  参考訳（メタデータ） (2025-09-08T02:50:11Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
  平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。 本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
  論文  参考訳（メタデータ） (2025-04-03T11:48:56Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Distribution-Flexible Subset Quantization for Post-Quantizing Super-Resolution Networks [68.83451203841624]
  本稿では,超高分解能ネットワークのためのポストトレーニング量子化手法であるDFSQを提案する。 DFSQは活性化のチャネルワイド正規化を行い、分布フレキシブルなサブセット量子化(SQ)を適用する 6ビットの量子化と8ビットの量子化では完全精度に匹敵する性能を達成し、4ビットの量子化では0.1dBのPSNR低下しか生じない。
  論文  参考訳（メタデータ） (2023-05-10T04:19:11Z)
• QFT: Post-training quantization via fast joint finetuning of all degrees of freedom [1.1744028458220428]
  我々は、すべての量子化DoFの統一的な分析に向けて、HWを意識した方法で量子化ネットワークパラメータ化を再考する。 本手法はQFT(quantization-aware finetuning)と呼ばれ,SoTAと同等の4ビット重み量子化結果が得られる。
  論文  参考訳（メタデータ） (2022-12-05T22:38:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。