論文の概要: DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks

• arxiv url: http://arxiv.org/abs/2012.11230v1
• Date: Mon, 21 Dec 2020 10:19:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 06:22:26.847265
• Title: DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks
• Title（参考訳）: daq: ディープイメージスーパーレゾリューションネットワークのための分散アウェア量子化
• Authors: Cheeun Hong, Heewon Kim, Junghun Oh, Kyoung Mu Lee
• Abstract要約: 画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
• 参考スコア（独自算出の注目度）: 49.191062785007006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantizing deep convolutional neural networks for image super-resolution substantially reduces their computational costs. However, existing works either suffer from a severe performance drop in ultra-low precision of 4 or lower bit-widths, or require a heavy fine-tuning process to recover the performance. To our knowledge, this vulnerability to low precisions relies on two statistical observations of feature map values. First, distribution of feature map values varies significantly per channel and per input image. Second, feature maps have outliers that can dominate the quantization error. Based on these observations, we propose a novel distribution-aware quantization scheme (DAQ) which facilitates accurate training-free quantization in ultra-low precision. A simple function of DAQ determines dynamic range of feature maps and weights with low computational burden. Furthermore, our method enables mixed-precision quantization by calculating the relative sensitivity of each channel, without any training process involved. Nonetheless, quantization-aware training is also applicable for auxiliary performance gain. Our new method outperforms recent training-free and even training-based quantization methods to the state-of-the-art image super-resolution networks in ultra-low precision.
• Abstract（参考訳）: 画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 しかし、既存の作品では、4ビット以下の超低精度での性能低下に悩まされるか、あるいは性能回復に大量の微調整プロセスが必要になる。 私たちの知る限り、この脆弱性は、特徴マップ値の2つの統計観測に依存する。 第1に、特徴マップ値の分布は、チャネル単位と入力画像単位で大きく異なる。 第二に、特徴写像は量子化誤差を支配できる外れ値を持つ。 これらの結果に基づき,超低精度で正確なトレーニングフリー量子化を実現する新しい分布認識量子化スキーム (daq) を提案する。 DAQの単純な関数は、計算負担の少ない特徴写像と重みの動的範囲を決定する。 さらに,各チャネルの相対感度を計算することで,学習過程を伴わずに混合精度の量子化が可能となる。 それでも、量子化対応のトレーニングは補助的な性能向上にも適用できる。 本手法は,最先端の超解像ネットワークに対して,超低精度で最新のトレーニングフリーおよびトレーニングベース量子化手法を上回っている。

関連論文リスト

• Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks [1.398698203665363]
  本稿では,低ビット精度を利用する非線形量子化手法について検討する。 我々は,低ビット幅のPower-of-Two(PoT)ネットワークのトレーニングを可能にするQATアルゴリズムを開発した。 同時に、PoT量子化はニューラルネットワークの計算複雑性を大幅に減らす。
  論文  参考訳（メタデータ） (2022-03-09T19:57:14Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Sharpness-aware Quantization for Deep Neural Networks [71.74282247931554]
  ネットワーク量子化は、モデルのサイズと計算コストを削減する効果的な圧縮手法である。 近年,モデルの一般化性能を向上させるため,SAM(Sharpness-Aware Minimization)が提案されている。 本稿では,シャープネス・アウェア量子化法(SAQ)を考案し,量子化モデルのトレーニングを行い,より優れた一般化性能を実現する。
  論文  参考訳（メタデータ） (2021-11-24T05:16:41Z)
• Post-Training Quantization for Vision Transformer [85.57953732941101]
  本稿では,視覚変換器のメモリ記憶量と計算コストを削減するための学習後量子化アルゴリズムを提案する。 約8ビット量子化を用いて、ImageNetデータセット上でDeiT-Bモデルを用いて81.29%のトップ-1の精度を得ることができる。
  論文  参考訳（メタデータ） (2021-06-27T06:27:22Z)
• Quantized Proximal Averaging Network for Analysis Sparse Coding [23.080395291046408]
  反復アルゴリズムをトレーニング可能なネットワークに展開し,量子化前にスパーシティの学習を容易にする。 圧縮画像回復と磁気共鳴画像再構成への応用を実証する。
  論文  参考訳（メタデータ） (2021-05-13T12:05:35Z)
• n-hot: Efficient bit-level sparsity for powers-of-two neural network quantization [0.0]
  パワーオブツー(PoT)量子化は、リソース制約ハードウェア上でのディープニューラルネットワークのビット演算数を減少させる。 PoT量子化は、表現能力が限られているため、深刻な精度低下を引き起こす。 メモリ効率の高い方法で精度とコストを両立した効率的なPoT量子化方式を提案する。
  論文  参考訳（メタデータ） (2021-03-22T10:13:12Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。