Fugu-MT 論文翻訳(概要): Sensitivity-Aware Post-Training Quantization for Deep Neural Networks

論文の概要: Sensitivity-Aware Post-Training Quantization for Deep Neural Networks

arxiv url: http://arxiv.org/abs/2509.05576v1
Date: Sat, 06 Sep 2025 03:26:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-09 14:07:03.593396
Title: Sensitivity-Aware Post-Training Quantization for Deep Neural Networks
Title（参考訳）: 深部ニューラルネットワークの感度を考慮したポストトレーニング量子化
Authors: Zekang Zheng, Haokun Li, Yaofo Chen, Mingkui Tan, Qing Du,
Abstract要約: 既存のトレーニング後の量子化手法では、高い圧縮比で精度を維持するために繰り返しパラメーターを更新する。本稿では,パラメータ感度解析による効率的なPTQ手法を提案する。 ResNet-50とYOLOv5sの実験結果は、最適脳量子化ベースライン上で20-200倍の量子化スピードアップを示す。
参考スコア（独自算出の注目度）: 33.64653796994035
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model quantization reduces neural network parameter precision to achieve compression, but often compromises accuracy. Existing post-training quantization (PTQ) methods employ iterative parameter updates to preserve accuracy under high compression ratios, incurring significant computational complexity and resource overhead, which limits applicability in resource-constrained edge computing and real-time inference scenarios. This paper proposes an efficient PTQ method guided by parameter sensitivity analysis. The approach prioritizes quantization of high-sensitivity parameters, leveraging unquantized low-sensitivity parameters to compensate for quantization errors, thereby mitigating accuracy degradation. Furthermore, by exploiting column-wise clustering of parameter sensitivity, the method introduces a row-parallel quantization framework with a globally shared inverse Hessian matrix update mechanism, reducing computational complexity by an order of magnitude. Experimental results on ResNet-50 and YOLOv5s demonstrate a 20-200-fold quantization speedup over the Optimal Brain Quantization baseline, with mean accuracy loss below 0.3%, confirming the method's efficacy in balancing efficiency and accuracy.
Abstract（参考訳）: モデル量子化は、圧縮を達成するためにニューラルネットワークパラメータの精度を低下させるが、しばしば精度を損なう。既存のトレーニング後の量子化(PTQ)手法では、高い圧縮比の下で精度を維持するために反復パラメータを更新し、計算の複雑さとリソースオーバーヘッドを発生させ、リソース制約されたエッジコンピューティングやリアルタイム推論シナリオの適用性を制限している。本稿では,パラメータ感度解析による効率的なPTQ手法を提案する。提案手法は,高感度パラメータの量子化を優先し,未定量化低感度パラメータを用いて量子化誤差を補償し,精度劣化を緩和する。さらに,パラメータ感度のカラムワイドクラスタリングを活用することで,グローバルに共有される逆ヘッセン行列更新機構を備えた行並列量子化フレームワークを導入し,計算複雑性を桁違いに低減する。 ResNet-50とYOLOv5の実験結果は、最適脳量子化ベースラインよりも20-200倍の量子化速度が向上し、平均精度が0.3%以下であることを示し、この手法が効率と精度のバランスをとる上で有効であることを確認する。

関連論文リスト

Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
論文参考訳（メタデータ） (2025-08-27T15:59:36Z)
ZeroQAT: Your Quantization-aware Training but Efficient [53.25965863436039]
量子化は、大規模言語モデル(LLM)のデプロイメントコストを削減する効果的な手法である。既存の低ビットPTQ法は, 局所再構成目標と下流性能の相違による累積誤差の伝搬と誤調整が生じるため, 精度劣化に悩まされる。我々は,ゼロオーダー最適化に基づくQATフレームワークZeroQATを提案する。
論文参考訳（メタデータ） (2025-08-21T01:18:27Z)
Neural Precision Polarization: Simplifying Neural Network Inference with Dual-Level Precision [0.4124847249415279]
浮動小数点モデルはクラウドでトレーニングされ、エッジデバイスにダウンロードされる。ネットワークの重みとアクティベーションは、NF4やINT8のようなエッジデバイスの望ましいレベルを満たすために直接量子化される。本稿では,Watt MAC の効率と信頼性について,約464 TOPS のニューラル精度の偏極が可能であることを示す。
論文参考訳（メタデータ） (2024-11-06T16:02:55Z)
Gradient-based Automatic Mixed Precision Quantization for Neural Networks On-Chip [0.9187138676564589]
本稿では,革新的な量子化学習手法である高粒度量子化(HGQ)を提案する。 HGQは、勾配降下によって最適化できるようにすることで、重量当たりおよび活動当たりの精度を微調整する。このアプローチは、演算演算が可能なハードウェア上で、超低レイテンシと低電力ニューラルネットワークを実現する。
論文参考訳（メタデータ） (2024-05-01T17:18:46Z)
On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
論文参考訳（メタデータ） (2023-09-05T04:39:34Z)
Mixed Precision Post Training Quantization of Neural Networks with Sensitivity Guided Search [7.392278887917975]
混合精度量子化により、異なるテンソルを様々な数値精度のレベルに量子化することができる。我々は,コンピュータビジョンと自然言語処理の手法を評価し,最大27.59%,34.31%のレイテンシ低減を実証した。
論文参考訳（メタデータ） (2023-02-02T19:30:00Z)
Automatic Network Adaptation for Ultra-Low Uniform-Precision Quantization [6.1664476076961146]
一様精度ニューラルネットワーク量子化は、高計算能力のために高密度に充填された演算ユニットを単純化したため、人気を集めている。層間の量子化誤差の影響に対して不均一な感度を無視し、結果として準最適推論をもたらす。本研究は,超低精度量子化による精度劣化を軽減するために,ニューラルネットワーク構造を調整するニューラルチャネル拡張と呼ばれる新しいニューラルアーキテクチャ探索を提案する。
論文参考訳（メタデータ） (2022-12-21T09:41:25Z)
Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文参考訳（メタデータ） (2021-11-29T12:24:02Z)
Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
論文参考訳（メタデータ） (2021-11-29T09:57:00Z)
DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
論文参考訳（メタデータ） (2020-12-21T10:19:42Z)
APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文参考訳（メタデータ） (2020-06-15T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。