論文の概要: Scale Sensitivity in Low-Bit Post-Training Quantization: Curvature of the Quantization Error Landscape

• arxiv url: http://arxiv.org/abs/2609.37416v1
• Date: Tue, 29 Sep 2026 12:46:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.497258
• Title: Scale Sensitivity in Low-Bit Post-Training Quantization: Curvature of the Quantization Error Landscape
• Title（参考訳）: 低ビット後量子化におけるスケール感度:量子化エラーランドスケープの曲率
• Abstract要約: GPTQファミリーにおけるポストトレーニング量子化(PTQ)法は、スケールを選択しなければならない一様格子上の層次再構成誤差を最小限に抑える。 この目的がスケールに対してどれほど敏感か研究する。 ガウス重みと十分に大きな有効ランクのキャリブレーションアクティベートを持つ層に対して、幅が大きくなるにつれて正規化された円-熱損失は高い確率で収束することを示す。
• 参考スコア（独自算出の注目度）: 15.425095447368962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization (PTQ) methods in the GPTQ family minimize a layer-wise reconstruction error on a uniform grid whose scale must be chosen; the common max-based choice degrades sharply at low bit-widths. We study how sensitive this objective is to the scale. For a layer with i.i.d. Gaussian weights and calibration activations of sufficiently large effective rank, we prove that, as the width grows, the normalized round-to-nearest loss converges with high probability, uniformly over all scales, to the mean-squared error of a uniform quantizer applied to a standard Gaussian; we verify the effective-rank condition for wide, randomly initialized MLPs with odd Lipschitz activations and isotropic Gaussian calibration data. The limiting objective has a unique nondegenerate minimizer, whose scale decreases strictly with the number of levels and whose curvature with respect to relative scale errors decays approximately exponentially with the bit-width. GPTQ experiments on five LLMs show the same trend: the scale rule changes perplexity substantially at 2--3 bits and negligibly from 6 bits on, and a local measure of GPTQ scale sensitivity decreases with bit-width in line with the Gaussian curvature. The Gaussian-optimal scale fails on raw weights; after Hadamard incoherence processing it matches the best searched rule at 3 bits and above without any search, but remains clearly worse at 2 bits.
• Abstract（参考訳）: GPTQファミリーにおけるポストトレーニング量子化(PTQ)法は、スケールを選択する必要がある一様格子上の層次再構成誤差を最小限に抑える。 この目的がスケールに対してどれほど敏感か研究する。 十分な有効ランクのガウス重みとキャリブレーションアクティベーションが十分大きい層に対して、その幅が大きくなるにつれて、正規化されたラウンド・ツー・アレスト損失は全スケールにわたって高い確率で収束し、標準ガウス量化器に適用された一様量子化器の平均二乗誤差を検証し、奇数のリプシッツアクティベーションと等方的なガウスキャリブレーションデータを持つ広いランダムに初期化されたMPPに対する有効ランク条件を検証する。 制限対象は、レベル数に応じてスケールが厳密に減少し、相対スケール誤差に対する曲率がビット幅とほぼ指数関数的に低下するユニークな非退化最小化器を有する。 スケールルールは6ビットからほぼ2～3ビットに変化し,GPTQスケール感度の局所測定はガウス曲率に比例して減少する。 ガウス・最適スケールは生の重みで失敗し、アダマール・アンコヒーレンス処理の後、検索なしで3ビット以上の最良の探索規則と一致するが、明らかに2ビットでは悪いままである。

関連論文リスト

• Minimizing the Hidden Cost of Scales: Graph-Guided Ultra-Low-Bit Quantization for Large Language Models [50.16014098038291]
  学習後量子化(PTQ)は,大規模言語モデル(LLM)の効率的な展開に重要である 隠れスケーリングコストを最小限に抑えるLLMのための超低ビット量子化フレームワークであるSAGE-PTQを提案する。 LLaMA-3B では、SAGE-PTQ は BiLLM の 55.8 と比較して 6.74 WikiText2 のパープレキシティを実現している。
  論文  参考訳（メタデータ） (2026-06-03T20:51:52Z)
• GSQ: Highly-Accurate Low-Precision Scalar Quantization for LLMs via Gumbel-Softmax Sampling [36.47926569464477]
  GSQ(Gumbel-Softmax Quantization)は,グループ単位のグリッド割り当てとグループ単位のスケールを協調的に学習する,学習後のスカラー量子化手法である。 標準のLlama-3.1-8B/70B-Instructモデルでは、GSQはスカラー量子化とQTIPフロンティアの差の大部分を2ビットと3ビットで閉じている。 GSQは,ベクトル量子化法の適用が困難なKim-K2.5のような1兆倍スケールのMixture-of-Expertsモデルにスケールすることを示す。
  論文  参考訳（メタデータ） (2026-04-20T17:45:47Z)
• SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights [8.95245917088986]
  訓練後の量子化は、大規模言語モデルを低精度で展開するための最も広く使われている戦略として現れてきた。 現在の手法では、ビット幅が4以下でパープレキシティ劣化を示す。 本稿では,2軸スケール係数と高速シンクホーン-ノック方式のアルゴリズムにより,既存の学習後量子化器を増強するSINQを紹介する。
  論文  参考訳（メタデータ） (2025-09-26T21:22:54Z)
• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• Error-Correcting Neural Networks for Two-Dimensional Curvature Computation in the Level-Set Method [0.0]
  本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。 我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
  論文  参考訳（メタデータ） (2022-01-22T05:14:40Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。