論文の概要: A Unified Hessian-Guided Framework for Post-Training Quantization

• arxiv url: http://arxiv.org/abs/2610.40345v1
• Date: Thu, 29 Oct 2026 16:06:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.533907
• Title: A Unified Hessian-Guided Framework for Post-Training Quantization
• Title（参考訳）: ポストトレーニング量子化のための統一ヘシアンガイドフレームワーク
• Abstract要約: 結合重みと活性化量子化による出力変化のヘッセン誘導近似を導出する。 我々は、量子化範囲、線形変換、および重み付けの合同最適化を可能にする統一された後学習量子化フレームワークを定式化する。
• 参考スコア（独自算出の注目度）: 23.107550402780173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-bit quantization enables efficient deployment of large language models by reducing memory footprint and computational cost. Achieving high accuracy at low precision requires selecting quantization ranges, linear transformations, and weight rounding decisions. Existing approaches typically optimize these components independently using local reconstruction objectives, which fail to account for the varying impact of quantization errors on downstream predictions. Direct optimization of task-level metrics would provide a more faithful objective, but is challenging due to the discontinuous nature of quantization operations and the high computational cost of evaluating their downstream effects. In this work, we derive a Hessian-guided approximation of the output change induced by joint weight and activation quantization. Based on a tractable Fisher approximation, we formulate a unified post-training quantization framework that enables the joint optimization of quantization ranges, linear transformations, and weight rounding under a common output-sensitivity objective. The resulting method remains practical for modern large language models and consistently outperforms state-of-the-art transformation and rounding methods across both channel-wise and block-wise quantization settings.
• Abstract（参考訳）: 低ビット量子化は、メモリフットプリントと計算コストを削減し、大きな言語モデルの効率的な展開を可能にする。 低精度で高精度に達成するには、量子化範囲、線形変換、および重み付け決定を選択する必要がある。 既存のアプローチは通常、これらのコンポーネントを局所的な再構成目的を用いて独立に最適化するが、これは下流の予測に対する量子化誤差の変動の影響を考慮できない。 タスクレベルのメトリクスの直接最適化は、より忠実な目的を提供するが、量子化演算の不連続性と、下流効果を評価するための高い計算コストのために困難である。 本研究では,結合重みと活性化量子化による出力変化のヘッセン誘導近似を導出する。 計算可能なフィッシャー近似に基づいて、共通の出力感度の目的の下で、量子化範囲、線形変換、および重み付けの合同最適化を可能にする統一された後量子化フレームワークを定式化する。 結果として得られた手法は、現代の大規模言語モデルでは実用的であり、チャネルワイドおよびブロックワイドの量子化設定において、最先端の変換および丸めの手法よりも一貫して優れている。

関連論文リスト

• WINDQuant: Weight-Informed Neural Decision-Making for Global Mixed-Precision LLM Quantization [40.655670203062805]
  WINDQuantは超低ビットLLM量子化のための強化学習に基づくアロケーションコントローラである。 グローバルストレージ予算の下で、ビット幅と量子化処理をきめ細かいカラムチャンクに割り当てる方法を学ぶ。 LLaMAモデルを用いた実験により、WINDQuantは超低ビット設定で競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2026-05-26T07:46:13Z)
• WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
  低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。 いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。 結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
  論文  参考訳（メタデータ） (2025-11-30T16:17:34Z)
• Mixed-Precision Quantization for Language Models: Techniques and Prospects [10.345914140081925]
  量子化は、モデルサイズを減らし、メモリボトルネックを緩和し、推論を加速する重要な圧縮技術として登場した。 混合精度量子化は、効率と精度のバランスをとるために、層またはテンソル内で精度を選択的に割り振ることで、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-10-19T12:16:40Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
  重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。 我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)
• Communication-Efficient Federated Learning via Clipped Uniform Quantization [3.38220960870904]
  本稿では,一様量子化によるフェデレーション学習におけるコミュニケーション効率向上のための新しい手法を提案する。 最適なクリッピングしきい値とクライアント固有の適応量子化方式を利用することで、クライアントとサーバ間のモデル重み伝達の帯域幅とメモリ要求を著しく削減する。 連合平均化とは対照的に、この設計では、クライアント固有のデータボリュームをサーバに開示する必要がなくなるため、クライアントのプライバシが向上する。
  論文  参考訳（メタデータ） (2024-05-22T05:48:25Z)
• PikeLPN: Mitigating Overlooked Inefficiencies of Low-Precision Neural Networks [4.827161693957252]
  非量子化要素演算は、低精度モデルの推論コストを支配している。 PikeLPNモデルは、要素演算と乗算累積演算の両方に量子化を適用することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2024-03-29T18:23:34Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
  トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
  論文  参考訳（メタデータ） (2020-02-18T12:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。