論文の概要: Progressive Element-wise Gradient Estimation for Neural Network Quantization

• arxiv url: http://arxiv.org/abs/2509.00097v1
• Date: Wed, 27 Aug 2025 15:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.077374
• Title: Progressive Element-wise Gradient Estimation for Neural Network Quantization
• Title（参考訳）: ニューラルネットワーク量子化のためのプログレッシブ要素の勾配推定
• Authors: Kaiqi Zhao,
• Abstract要約: 量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。 本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
• 参考スコア（独自算出の注目度）: 2.1413624861650358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network quantization aims to reduce the bit-widths of weights and activations, making it a critical technique for deploying deep neural networks on resource-constrained hardware. Most Quantization-Aware Training (QAT) methods rely on the Straight-Through Estimator (STE) to address the non-differentiability of discretization functions by replacing their derivatives with that of the identity function. While effective, STE overlooks discretization errors between continuous and quantized values, which can lead to accuracy degradation -- especially at extremely low bit-widths. In this paper, we propose Progressive Element-wise Gradient Estimation (PEGE), a simple yet effective alternative to STE, which can be seamlessly integrated with any forward propagation methods and improves the quantized model accuracy. PEGE progressively replaces full-precision weights and activations with their quantized counterparts via a novel logarithmic curriculum-driven mixed-precision replacement strategy. Then it formulates QAT as a co-optimization problem that simultaneously minimizes the task loss for prediction and the discretization error for quantization, providing a unified and generalizable framework. Extensive experiments on CIFAR-10 and ImageNet across various architectures (e.g., ResNet, VGG) demonstrate that PEGE consistently outperforms existing backpropagation methods and enables low-precision models to match or even outperform the accuracy of their full-precision counterparts.
• Abstract（参考訳）: ニューラルネットワークの量子化は、ウェイトとアクティベーションのビット幅を減らすことを目的としており、リソース制約のあるハードウェアにディープニューラルネットワークをデプロイするための重要なテクニックである。 量子化アウェアトレーニング(QAT)のほとんどの手法は、微分関数の非微分可能性に対処するため、その微分関数を恒等関数に置き換えることによってSTE(Straight-Through Estimator)に依存している。 有効ではあるが、STEは連続した値と量子化された値の間の離散化エラーを見落とし、特に非常に低いビット幅において、精度の低下につながる可能性がある。 本稿では,STEの簡易かつ効果的な代替手段であるProgressive Element-wise Gradient Estimation (PEGE)を提案する。 PEGEは、新しい対数的カリキュラム駆動の混合精度置換戦略を通じて、完全精度ウェイトとアクティベーションを量子化されたウェイトに徐々に置き換える。 そして、QATを、予測のためのタスク損失と量子化のための離散化誤差を同時に最小化する共最適化問題として定式化し、統一的で一般化可能なフレームワークを提供する。 CIFAR-10とImageNetの様々なアーキテクチャ(ResNet、VGGなど)における広範な実験により、PEGEは既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが実際の精度の精度にマッチしたり、さらに上回ったりすることを実証している。

関連論文リスト

• Improving Quantization-aware Training of Low-Precision Network via Block Replacement on Full-Precision Counterpart [1.5508907979229383]
  量子化対応トレーニング(QAT)は、ネットワーク量子化の一般的なパラダイムである。 低精度モデルは限られた表現能力を示し、完全精度の計算を直接複製することはできない。 本稿では,低精度ネットワークのフォワード・バック・プロセスが,完全精度パートナーによってガイドされるようにすることで,懸念を緩和するための一般的なQATフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-20T12:38:18Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• Gradient-based Automatic Mixed Precision Quantization for Neural Networks On-Chip [0.9187138676564589]
  本稿では,革新的な量子化学習手法である高粒度量子化(HGQ)を提案する。 HGQは、勾配降下によって最適化できるようにすることで、重量当たりおよび活動当たりの精度を微調整する。 このアプローチは、演算演算が可能なハードウェア上で、超低レイテンシと低電力ニューラルネットワークを実現する。
  論文  参考訳（メタデータ） (2024-05-01T17:18:46Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• CSQ: Growing Mixed-Precision Quantization Scheme with Bi-level Continuous Sparsification [51.81850995661478]
  混合精度量子化はディープニューラルネットワーク(DNN)に広く応用されている トレーニング中のビットレベル正規化とプルーニングに基づく動的精度調整の試みは、ノイズ勾配と不安定収束に悩まされている。 安定度を向上した混合精度量子化スキームを探索するビットレベル学習法である連続スカラー化量子化(CSQ)を提案する。
  論文  参考訳（メタデータ） (2022-12-06T05:44:21Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• AMED: Automatic Mixed-Precision Quantization for Edge Devices [3.5223695602582614]
  量子ニューラルネットワークは、レイテンシ、消費電力、モデルサイズをパフォーマンスに大きな影響を与えずに減少させることでよく知られている。 混合精度量子化は、異なるビット幅での算術演算をサポートするカスタマイズされたハードウェアのより良い利用を提供する。
  論文  参考訳（メタデータ） (2022-05-30T21:23:22Z)
• Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
  シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。 本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
  論文  参考訳（メタデータ） (2021-11-24T05:16:41Z)
• QuantNet: Learning to Quantize by Learning within Fully Differentiable Framework [32.465949985191635]
  本稿では,QuantNetというメタベースの量子化器を提案する。 本手法は, 勾配ミスマッチの問題を解決するだけでなく, 配置中の二項化操作による離散化誤差の影響を低減する。
  論文  参考訳（メタデータ） (2020-09-10T01:41:05Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。