論文の概要: Stabilizing Quantization-Aware Training by Implicit-Regularization on Hessian Matrix

• arxiv url: http://arxiv.org/abs/2503.11159v1
• Date: Fri, 14 Mar 2025 07:56:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:20.259139
• Title: Stabilizing Quantization-Aware Training by Implicit-Regularization on Hessian Matrix
• Title（参考訳）: ヘリシアン行列のインシシト規則化による量子化学習の安定化
• Authors: Junbiao Pang, Tianyang Cai,
• Abstract要約: 損失の急激な状況は、劇的なパフォーマンス低下を招き、不安定を引き起こす重要な要因であることがわかった。 本稿では, 定量化モデルに特徴蒸留法を適用し, 一般化するためのFPQを提案する。
• 参考スコア（独自算出の注目度）: 0.7261171488281837
• License:
• Abstract: Quantization-Aware Training (QAT) is one of the prevailing neural network compression solutions. However, its stability has been challenged for yielding deteriorating performances as the quantization error is inevitable. We find that the sharp landscape of loss, which leads to a dramatic performance drop, is an essential factor that causes instability. Theoretically, we have discovered that the perturbations in the feature would bring a flat local minima. However, simply adding perturbations into either weight or feature empirically deteriorates the performance of the Full Precision (FP) model. In this paper, we propose Feature-Perturbed Quantization (FPQ) to stochastically perturb the feature and employ the feature distillation method to the quantized model. Our method generalizes well to different network architectures and various QAT methods. Furthermore, we mathematically show that FPQ implicitly regularizes the Hessian norm, which calibrates the smoothness of a loss landscape. Extensive experiments demonstrate that our approach significantly outperforms the current State-Of-The-Art (SOTA) QAT methods and even the FP counterparts.
• Abstract（参考訳）: QAT(Quantization-Aware Training)は、ニューラルネットワーク圧縮ソリューションのひとつ。 しかし、量子化誤差が避けられないため、その安定性は劣化する性能をもたらす。 損失の急激な状況は、劇的なパフォーマンス低下を招き、不安定を引き起こす重要な要因であることがわかった。 理論的には、この機能の摂動が平坦な局所的なミニマをもたらすことが判明した。 しかし、単に重みまたは特徴に摂動を加えるだけで、フル精度(FP)モデルの性能を実証的に劣化させる。 本稿では,その特徴を確率論的に摂動させる機能摂動量子化法(FPQ)を提案し,その特徴蒸留法を定量化モデルに適用する。 本手法は,異なるネットワークアーキテクチャと様々なQAT手法によく適応する。 さらに、FPQは、損失景観の滑らかさを校正するヘッセンノルムを暗黙的に正則化することを示す。 その結果,本手法は現状のSOTA(State-Of-The-Art)QAT法やFP法よりも優れていた。

関連論文リスト

• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [95.32315448601241]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Oscillations Make Neural Networks Robust to Quantization [0.16385815610837165]
  量子化アウェアトレーニング(QAT)における振動は,STE(Straight-Through Estimator)によって引き起こされる望ましくない人工物であることを示す。 量子化を改善するために振動を誘導する新しい正則化法を提案する。
  論文  参考訳（メタデータ） (2025-02-01T16:39:58Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers [2.0862654518798034]
  本稿では,視覚変換器のための分散親和性・外乱性を考慮したポストトレーニング量子化手法を提案する。 DopQ-ViTは、現在の量子化器の非効率性を分析し、TanQと呼ばれる分布に優しいタン量子化器を導入する。 DopQ-ViTは広範囲に検証され、量子化モデルの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-06T16:40:04Z)
• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Improving Parameter Training for VQEs by Sequential Hamiltonian Assembly [4.646930308096446]
  量子機械学習における中心的な課題は、パラメータ化量子回路(PQC)の設計と訓練である。 局所成分を用いて損失関数を反復的に近似する逐次ハミルトンアセンブリを提案する。 提案手法は,従来のパラメータトレーニングを29.99%,実証的手法であるレイヤワイズラーニングを5.12%,平均精度を5.12%向上させる。
  論文  参考訳（メタデータ） (2023-12-09T11:47:32Z)
• Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
  知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。 知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。 我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
  論文  参考訳（メタデータ） (2023-05-27T21:25:55Z)
• Intriguing Properties of Input-dependent Randomized Smoothing [6.0887051533533265]
  CIFAR10 および MNIST 上で,滑らかな分散関数の具体的な設計と検証を行う。 入力依存の平滑化は次元性の呪いに悩まされ、分散関数は半弾性が低いことが示される。 我々は,次元の呪いがあっても,入力依存の平滑化を利用できる理論的,実践的な枠組みを提供する。
  論文  参考訳（メタデータ） (2021-10-11T15:50:49Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• Role of Orthogonality Constraints in Improving Properties of Deep Networks for Image Classification [8.756814963313804]
  物理に基づく潜在表現からシンプルな仮定で現れる直交球正則化器(OS)を提案する。 さらに単純化された仮定の下では、OS制約は単純な正則項として閉形式で書かれ、クロスエントロピー損失関数と共に用いられる。 4つのベンチマークデータセットに対して定量的かつ質的な結果を提供することにより,提案OSの正規化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-09-22T18:46:05Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。