論文の概要: Low-Dimensional High-Leverage Subspace Optimization: Beyond Full-Parameter Coupled Training for Neural Network Quantization

• arxiv url: http://arxiv.org/abs/2608.03919v1
• Date: Tue, 04 Aug 2026 16:50:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 17:47:10.514259
• Title: Low-Dimensional High-Leverage Subspace Optimization: Beyond Full-Parameter Coupled Training for Neural Network Quantization
• Title（参考訳）: 低次元高レベル部分空間最適化:ニューラルネットワーク量子化のためのフルパラメータ結合学習を超えて
• Abstract要約: 低ビット量子化は、コンパクトネットワーク上で深刻な精度劣化を被る。 従来のパイプラインではモノリシックな最適化が採用されている。 ターゲット部分空間最適化のための正規化アフィンプレコンディショニング(NAP)を提案する。
• 参考スコア（独自算出の注目度）: 12.719434226050522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-bit quantization suffers severe accuracy degradation on compact networks, rooted in the dominant full-parameter coupled training paradigm that ignores parameter subspace heterogeneity. Their limited feature redundancy leaves little room to absorb quantization errors. Conventional pipelines adopt monolithic optimization: PTQ reconstructs fixed pretrained models without improving inherent quantization friendliness; QAT updates all parameters jointly, suffering from gradient coupling between backbone weights and calibration parameters. In this paper, we identify normalization affine parameters as a low-dimensional high-leverage subspace dominating quantization robustness, and propose Normalization Affine Preconditioning (NAP) for targeted subspace optimization. For PTQ, NAP freezes backbone weights and fine-tunes only affine parameters under the target fake-quantization graph on full-precision models, proactively boosting quantization friendliness before downstream reconstruction. For QAT, we introduce an alternating QAT-NAP schema that decouples feature learning and numerical calibration, breaking the performance ceiling of saturated joint training. Theoretical analysis confirms BN affine parameters fully cancel the channel-wise affine component of quantization distortion, while nonlinear rounding and clipping residuals form the irreducible error boundary; distillation-guided NAP acts as directional flatness optimization, projecting teacher-student logit mismatch onto the restricted subspace. Experiments on ImageNet and CIFAR-100 show NAP recovers severely collapsed low-bit quantization, consistently boosts reconstruction-based PTQ, and outperforms saturated full-parameter QAT with negligible tuning cost. This work reveals the principle of targeted low-dimensional subspace optimization, offering a new perspective beyond full-parameter coupled training for efficient deep learning.
• Abstract（参考訳）: 低ビット量子化は、パラメータ部分空間の不均一性を無視した支配的なフルパラメータ結合トレーニングパラダイムに根ざした、コンパクトネットワーク上で深刻な精度劣化を被る。 制限された特徴冗長性は、量子化誤差を吸収する余地をほとんど残さない。 PTQは、固有の量子化親和性を改善することなく、固定された事前訓練されたモデルを再構築する。QATは、バックボーン重みとキャリブレーションパラメータ間の勾配結合に悩まされ、全てのパラメータを共同で更新する。 本稿では、正規化アフィンパラメータを、量子化ロバスト性を支配する低次元の高平均部分空間として同定し、ターゲット部分空間最適化のための正規化アフィン前処理(NAP)を提案する。 PTQでは、NAPはフル精度モデル上でターゲットの偽量子化グラフの下でバックボーン重みとファインチューンのみアフィンパラメータを凍結し、下流再構成の前に積極的に量子化フレンドラインを増強する。 QATでは,特徴学習と数値キャリブレーションを分離する交互QAT-NAPスキーマを導入し,飽和関節トレーニングの性能天井を破る。 理論解析によりBNアフィンパラメータは量子化歪みのチャネルワイドアフィン成分を完全にキャンセルし、非線形ラウンドリングとクリッピング残差は既約誤差境界を形成する。 ImageNetとCIFAR-100の実験では、NAPはひどく崩壊した低ビット量子化を回復し、復元ベースのPTQを継続的に向上し、飽和フルパラメータQATを無視できるチューニングコストで上回っている。 この研究は、目的とする低次元部分空間最適化の原理を明らかにし、効率的なディープラーニングのためのフルパラメータ結合トレーニングを超えて、新たな視点を提供する。

関連論文リスト

• SandwichQuant: Which Parameters Matter Before and After Quantization? [8.132552404141467]
  パラメータ部分空間から見た量子化補正について検討する。 低次元正規化-アフィン部分空間は、一致した予算の下で高い効率の補正方向を提供することを示す。 2段階の正規化-アフィン補正フレームワークであるSandwichQuantを提案する。
  論文  参考訳（メタデータ） (2026-08-25T07:40:06Z)
• Neural Network Quantization by Learning Low-Loss Subspaces [42.07461306663832]
  最近の研究では、低損失FP溶液は孤立ではなく、損失ランドスケープの連結低損失部分空間に属することが示されている。 量子化モデルは、FPモデルの低損失部分空間内に配置でき、それによって自動的に性能を保つことができるのか? 損失を最小限に抑えるために最適化された重み空間における量子化を考慮した線形経路を学習することでこの問題に対処する。 得られた部分空間の中間点は、設計上、量子化フレンドリであり、その直接量子化は量子化対応トレーニングに匹敵する性能をもたらすことを実証する。
  論文  参考訳（メタデータ） (2026-06-23T18:48:45Z)
• PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective [52.693471818837395]
  PEFTは安定性・塑性ジレンマにより評価されるべきである。 本稿では,下流性能と一般能力の維持を計測するベンチマークPEFT-Arenaを紹介する。 そこで本研究では,パスワイド巻き戻しによるポストホック改善の事例研究を行った。
  論文  参考訳（メタデータ） (2026-05-27T17:59:51Z)
• Quantum Tilted Loss in Variational Optimization: Theory and Applications [2.274915755738124]
  最適化ランドスケープを再構築するために、Quantum Tilted Loss (QTL)を導入します。 QTLは、問題の真のグローバルなミニマを保ちながら、構造化された設定で勾配信号を増幅することができる。 トレーニング可能性と予測可能性のトレードオフを形式化し、アグレッシブな傾きが最適化のボトルネックを根本的に変えることを示す。
  論文  参考訳（メタデータ） (2026-05-04T17:25:43Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• LOTION: Smoothing the Optimization Landscape for Quantized Training [9.855789447735757]
  生の量子化損失を非バイアスのランダム化周囲雑音下での予測に置き換える原理的平滑化フレームワークであるLOTIONを導入する。 本手法は, 合成テストベッドおよび150M-および300M-パラメータ言語モデルにおいて, 標準QATよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-10-09T19:16:46Z)
• Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
  量子化下でのモデルロバスト性に対する選択の影響について検討する。 モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。 異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
  論文  参考訳（メタデータ） (2025-09-27T21:15:22Z)
• Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
  量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。 本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
  論文  参考訳（メタデータ） (2025-08-27T15:59:36Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• NIPQ: Noise proxy-based Integrated Pseudo-Quantization [9.207644534257543]
  量子化対応トレーニング(QAT)におけるストレートスルー推定器(STE)の不安定収束 アクティベーションと重みの両面において擬似量子化を統一的にサポートする新しいノイズプロキシベース統合擬似量子化(NIPQ)を提案する。 NIPQは、様々なビジョンや言語アプリケーションにおける既存の量子化アルゴリズムよりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2022-06-02T01:17:40Z)
• Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
  重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。 分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
  論文  参考訳（メタデータ） (2021-03-07T00:15:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。