論文の概要: When Does Compensating Inherited Quantization Error Help? Mean-Square Guarantees for Layer-Wise Quantization and Their Limits

• arxiv url: http://arxiv.org/abs/2610.16020v1
• Date: Mon, 12 Oct 2026 00:41:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.284071
• Title: When Does Compensating Inherited Quantization Error Help? Mean-Square Guarantees for Layer-Wise Quantization and Their Limits
• Title（参考訳）: 代用量子化エラーの補償はいつ役に立つのか?
• Abstract要約: 各層が以前の層から受け継いだ量子化誤差を補うことができる。 我々は、そのような補償がネットワーク出力エラーをそれ無しで保証する前提を問う。
• 参考スコア（独自算出の注目度）: 2.944323057176686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Layer-wise post-training quantization methods let each layer compensate for the quantization error inherited from earlier layers. We ask under what assumptions such compensation guarantees a network output error no larger than without it. For linear networks of any depth, with the required calibration Gram matrices invertible, if the rounding error of each layer has zero conditional mean and a deterministic second-moment map common to both schemes, as under subtractive dither on an unbounded grid, then compensation with strengths in $[0,1]$ fixed in advance gives a mean-square output error no larger than no compensation, each scheme being followed along its own trajectory. The exact gain separates error removed directly from reduced excitation of later rounding noise. Outside this setting the comparison can fail. With rectified linear activations it fails for two independent reasons: noise changes activation states, and, even when no state changes, the correction moves error from samples on which a unit is inactive to samples on which it is active. With stable activations, commutators between the calibration projection and the activation patterns bound the excess. With a bounded codebook, even unique exact layer-wise minimizers with no overload can give a larger output error. For fixed rounding errors it already fails for two scalar linear layers, refuting a published universal guarantee. An exact residual identity gives the necessary and sufficient condition on a common layer input. All these comparisons hold the calibration input fixed. On two 8B models at 4 bits, fixed half-strength compensation beat uncompensated rounding in every model, text and draw tested, yet no rule for choosing the strength beat a layer-wise rule consistently, and lowering the full-network loss on the data used to choose did not reliably lower it on new text.
• Abstract（参考訳）: 各層が以前の層から受け継いだ量子化誤差を補うことができる。 我々は、そのような補償がネットワーク出力エラーをそれ無しで保証する前提を問う。 任意の深さの線形ネットワークに対して、必要キャリブレーション・グラハム行列が可逆である場合、各層の丸め誤差が条件平均ゼロで、非有界格子上の減算ディザーの下で、両方のスキームに共通する決定論的第二モーメント写像を持つならば、事前に固定された$[0,1]$の強みによる補償は平均二乗出力誤差を伴わないが、それぞれのスキームはそれぞれの軌道に沿って従う。 正確なゲインは、後続の丸みを帯びたノイズの少ない励起から直接除去された誤差を分離する。 この設定以外では、比較は失敗する可能性がある。 修正された線形アクティベーションでは、ノイズ変化のアクティベーション状態と、状態が変化しない場合でも、ユニットがアクティブなサンプルに不活性なサンプルからエラーを移動させる2つの独立した理由がある。 安定した活性化により、キャリブレーションプロジェクションとアクティベーションパターンの間の通勤者は余剰を束縛する。 境界付きコードブックでは、オーバーロードのない独自の層ワイド最小化器でも出力エラーが大きい。 固定丸め誤差に対しては、既に2つのスカラー線形層で失敗し、公表された普遍的な保証を否定する。 正確な残留恒等式は、共通層入力に必要かつ十分な条件を与える。 これらの比較はすべて、校正入力を固定している。 4ビットの2つの8Bモデルでは、固定半強度補償がすべてのモデル、テキスト、描画テストで不補償丸めを上回り、しかし、強度を選択するルールが階層的なルールを一貫して上回り、選択に使用したデータに対する全ネットワーク損失を減少させるというルールは、新しいテキストでは確実に低下しなかった。

関連論文リスト

• Align, Then Correct: Training-Free Two-Stage Low-Rank Compensation for Extremely Quantized Large Language Models [9.974090237284312]
  低ランク量子化誤差補償(LQEC)は、攻撃的な重み量子化の下で失われた精度を回復する。 既存の補償器は2つの共有単純化によって制限されていることを示す。 本稿では,2段階のクローズドフォームフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-06T11:16:37Z)
• Activation Denoising: A Robustness View on Parallel vs Sequential LLM Quantization [58.53931135216174]
  トレーニング後の量子化は、大きな言語モデルを圧縮するための強力なツールである。 逐次量子化(Sequential Quantization)は、各層を前者の既に定量化されている出力に再計算することで、エラーの複雑化の原因となる。 本稿では, 量子化を完全に並列に保ちながら, 逐次的利益の多くを回復する, アクティベーションデノイングによる並列量子化を提案する。
  論文  参考訳（メタデータ） (2026-10-05T23:41:48Z)
• Scale Sensitivity in Low-Bit Post-Training Quantization: Curvature of the Quantization Error Landscape [15.425095447368962]
  GPTQファミリーにおけるポストトレーニング量子化(PTQ)法は、スケールを選択しなければならない一様格子上の層次再構成誤差を最小限に抑える。 この目的がスケールに対してどれほど敏感か研究する。 ガウス重みと十分に大きな有効ランクのキャリブレーションアクティベートを持つ層に対して、幅が大きくなるにつれて正規化された円-熱損失は高い確率で収束することを示す。
  論文  参考訳（メタデータ） (2026-09-29T12:46:41Z)
• Repairability of Inexact Solvers in Recursive State Estimation with Machine Learning [5.454529833414671]
  我々は,所定の部分空間内における補正と標準予算が局所許容許容範囲に到達できる場合の特徴付けを行う。 電力グリッド耐性の研究において、学習された補正は、展開の最小共役次数(英語版)を下げる。 局所的な補修可能性と非線形な誤差伝搬をリンクすることにより、近似解法と学習された補正を評価する。
  論文  参考訳（メタデータ） (2026-09-23T17:27:07Z)
• SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs [18.494055578192015]
  本稿では,各プルーニングサイトに線形残差アダプタを挿入するトレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。 各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。 5つのモデルファミリ,6つの層選択基準,および7つのゼロショットベンチマーク実験により,ShiFT-LLMは深絞りによって失われる精度を常に回復することを示した。
  論文  参考訳（メタデータ） (2026-08-25T19:01:58Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Conformal calibration and look-elsewhere effect in anomaly detection for new-physics searches [0.0]
  機械学習による異常検出は、新しい物理学の探索を再構築している。 本稿では,共形予測に基づく校正層を提案する。
  論文  参考訳（メタデータ） (2026-06-11T18:00:02Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。 以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Demonstrating a long-coherence dual-rail erasure qubit using tunable transmons [59.63080344946083]
  共振結合された一対のトランスモンからなる「デュアルレール量子ビット」が高コヒーレントな消去量子ビットを形成することを示す。 我々は、チェック毎に0.1%$ dephasingエラーを導入しながら、消去エラーの中間回路検出を実演する。 この研究は、ハードウェア効率の量子誤り訂正のための魅力的なビルディングブロックとして、トランスモンベースのデュアルレールキュービットを確立する。
  論文  参考訳（メタデータ） (2023-07-17T18:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。