論文の概要: SandwichQuant: Which Parameters Matter Before and After Quantization?

• arxiv url: http://arxiv.org/abs/2608.24173v1
• Date: Tue, 25 Aug 2026 07:40:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.860676
• Title: SandwichQuant: Which Parameters Matter Before and After Quantization?
• Title（参考訳）: SandwichQuant: 量子化前後で重要なパラメータは?
• Abstract要約: パラメータ部分空間から見た量子化補正について検討する。 低次元正規化-アフィン部分空間は、一致した予算の下で高い効率の補正方向を提供することを示す。 2段階の正規化-アフィン補正フレームワークであるSandwichQuantを提案する。
• 参考スコア（独自算出の注目度）: 8.132552404141467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization correction methods usually optimize weights, quantization parameters, or reconstruction objectives, while the underlying parameter subspaces responsible for effective correction remain unclear. In this work, we study quantization correction from a parameter subspace perspective and reveal that correction capability is highly non-uniform across parameter groups. By decomposing trainable parameters into backbone weights, normalization-affine parameters, and quantization parameters, we show that the low-dimensional normalization-affine subspace provides a highly efficient correction direction under matched budgets. Based on this finding, we propose SandwichQuant, a two-stage normalization-affine correction framework that performs adaptation before and after quantization. The pre-stage improves quantization robustness, while the post-stage compensates residual errors after the quantized graph is fixed. Extensive experiments on vision models and large language models demonstrate consistent improvements under various low-bit quantization settings, validating the effectiveness of subspace-aligned correction.
• Abstract（参考訳）: 量子化補正法は通常、重み、量子化パラメータ、または再構成目的を最適化するが、根底にあるパラメータ部分空間は、効果的な補正に責任を負う。 本研究では,パラメータ部分空間の観点からの量子化補正について検討し,パラメータ群間での補正能力が極めて不均一であることを明らかにする。 トレーニング可能なパラメータをバックボーン重み、正規化-アフィンパラメータ、量子化パラメータに分解することにより、低次元正規化-アフィン部分空間が一致した予算の下で高い効率の補正方向を提供することを示す。 そこで本研究では,量子化前後の適応を行う2段階正規化-アフィン補正フレームワークであるSandwichQuantを提案する。 前段は量子化ロバスト性を改善し、後段は量子化グラフが固定された後の残差誤差を補償する。 ビジョンモデルと大規模言語モデルに関する大規模な実験は、様々な低ビット量子化設定の下で一貫した改善を示し、サブスペース整列補正の有効性を検証した。

関連論文リスト

• Low-Dimensional High-Leverage Subspace Optimization: Beyond Full-Parameter Coupled Training for Neural Network Quantization [12.719434226050522]
  低ビット量子化は、コンパクトネットワーク上で深刻な精度劣化を被る。 従来のパイプラインではモノリシックな最適化が採用されている。 ターゲット部分空間最適化のための正規化アフィンプレコンディショニング(NAP)を提案する。
  論文  参考訳（メタデータ） (2026-08-04T16:50:04Z)
• Saliency-Aware Regularized Quantization Calibration for Large Language Models [12.382772717031772]
  トレーニング後の量子化(PTQ)は、大きな言語モデル(LLM)をメモリとレイテンシの制約下でデプロイするための効果的なアプローチである。 既存のPTQ手法の多くは、所定のキャリブレーションデータセット上の層次再構成誤差を最小限に抑えて量子化パラメータを決定する。 提案された正則化は、キャリブレーションの間、量子化された重みが元の重みに近づき続けることを奨励し、推論時の一般化を改善させる。
  論文  参考訳（メタデータ） (2026-05-07T05:33:26Z)
• Regularized Calibration with Successive Rounding for Post-Training Quantization [32.31386646428613]
  後トレーニング量子化(PTQ)は、事前トレーニングされた重みを再トレーニングせずに低ビットフォーマットにマッピングすることで効率的な推論を可能にする。 対称キャリブレーションと非対称キャリブレーションの補間が正規化の一形態であることを示す。 非対称キャリブレーションを自然に組み込んだ単純な逐次丸めの手順を導出する。
  論文  参考訳（メタデータ） (2026-02-05T17:18:02Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
  量子化下でのモデルロバスト性に対する選択の影響について検討する。 モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。 異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
  論文  参考訳（メタデータ） (2025-09-27T21:15:22Z)
• Energy Landscape Plummeting in Variational Quantum Eigensolver: Subspace Optimization, Non-iterative Corrections and Generator-informed Initialization for Improved Quantum Efficiency [0.0]
  変分量子固有解法(VQE)は、ハードウェアノイズとバレンプラトーと局所トラップの存在により、重大な課題に直面している。 本稿では,VQE最適化を低次元部分空間に投影することにより,ハードウェアリソースの利用率と精度を最適化する汎用形式を提案する。 数値シミュレーションにより, 化学にインスパイアされたアンザッツと組み合わせることで, 最小値の1～2桁の精度で推定できることがわかった。
  論文  参考訳（メタデータ） (2025-04-17T17:07:09Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Maintaining Structural Integrity in Parameter Spaces for Parameter Efficient Fine-tuning [78.39310274926535]
  さまざまな下流タスクに事前訓練された基礎モデルを適応させることは、人工知能において一般的である。 これを軽減するために、事前訓練されたモデルの重みをより資源効率の良い方法で更新するために、いくつかの微調整技術が開発されている。 本稿では,多次元パラメータ空間用に設計された一般化されたパラメータ効率の微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:04:42Z)
• Towards Accurate Post-training Quantization for Reparameterized Models [6.158896686945439]
  現在のポストトレーニング量子化法(PTQ)は、しばしばかなりの精度の劣化を引き起こす。 これは主にチャネル特異的およびサンプル特異的な外れ値によって引き起こされる。 本稿では、量子化された再パラメータ化モデルの精度を維持する新しいフレームワークであるRepAPQを提案する。
  論文  参考訳（メタデータ） (2024-02-25T15:42:12Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
  重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。 分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
  論文  参考訳（メタデータ） (2021-03-07T00:15:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。