論文の概要: Overcoming Distribution Mismatch in Quantizing Image Super-Resolution Networks

• arxiv url: http://arxiv.org/abs/2307.13337v1
• Date: Tue, 25 Jul 2023 08:50:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 17:56:32.362477
• Title: Overcoming Distribution Mismatch in Quantizing Image Super-Resolution Networks
• Title（参考訳）: 画像超解像ネットワークにおける分布ミスマッチの克服
• Authors: Cheeun Hong and Kyoung Mu Lee
• Abstract要約: 本稿では,SRネットワークにおける分散ミスマッチ問題を効果的に克服する量子化対応学習フレームワークを提案する。 提案アルゴリズムはODMと呼ばれ,計算オーバーヘッドを最小限に抑えた分散におけるミスマッチを効果的に低減する。
• 参考スコア（独自算出の注目度）: 60.37328488058772
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Quantization is a promising approach to reduce the high computational complexity of image super-resolution (SR) networks. However, compared to high-level tasks like image classification, low-bit quantization leads to severe accuracy loss in SR networks. This is because feature distributions of SR networks are significantly divergent for each channel or input image, and is thus difficult to determine a quantization range. Existing SR quantization works approach this distribution mismatch problem by dynamically adapting quantization ranges to the variant distributions during test time. However, such dynamic adaptation incurs additional computational costs that limit the benefits of quantization. Instead, we propose a new quantization-aware training framework that effectively Overcomes the Distribution Mismatch problem in SR networks without the need for dynamic adaptation. Intuitively, the mismatch can be reduced by directly regularizing the variance in features during training. However, we observe that variance regularization can collide with the reconstruction loss during training and adversely impact SR accuracy. Thus, we avoid the conflict between two losses by regularizing the variance only when the gradients of variance regularization are cooperative with that of reconstruction. Additionally, to further reduce the distribution mismatch, we introduce distribution offsets to layers with a significant mismatch, which either scales or shifts channel-wise features. Our proposed algorithm, called ODM, effectively reduces the mismatch in distributions with minimal computational overhead. Experimental results show that ODM effectively outperforms existing SR quantization approaches with similar or fewer computations, demonstrating the importance of reducing the distribution mismatch problem. Our code is available at https://github.com/Cheeun/ODM.
• Abstract（参考訳）: 量子化は、画像超解像(SR)ネットワークの高計算複雑性を低減するための有望なアプローチである。 しかし、画像分類のような高レベルなタスクに比べて、低ビット量子化はSRネットワークの精度を著しく低下させる。 これは、SRネットワークの特徴分布が各チャネルや入力画像に対して著しくばらつきがあり、量子化範囲を決定することが難しいためである。 既存のsr量子化作業はこの分布ミスマッチ問題にアプローチし、テスト時間中の変種分布に量子化範囲を動的に適応させる。 しかし、そのような動的適応は量子化の利点を制限する計算コストを増大させる。 代わりに,動的適応を必要とせず,srネットワークにおける分布ミスマッチ問題を効果的に克服する,量子化認識学習フレームワークを提案する。 直感的には、トレーニング中の特徴のばらつきを直接調整することで、ミスマッチを低減できる。 しかし, 差分正規化はトレーニング中の再構成損失と衝突し, SR精度に悪影響を及ぼす可能性がある。 したがって,分散正規化の勾配と再構成の勾配が協調している場合にのみ分散を定式化することにより,2つの損失の衝突を回避する。 さらに,分散ミスマッチをさらに低減するために,チャネル毎の機能をスケールまたはシフトする大きなミスマッチを持つレイヤへの分散オフセットを導入する。 提案アルゴリズムはODMと呼ばれ,計算オーバーヘッドを最小限に抑えた分散におけるミスマッチを効果的に低減する。 実験結果から,ODMは既存のSR量子化手法を類似あるいは少ない計算で効果的に上回り,分散ミスマッチ問題の低減の重要性が示された。 私たちのコードはhttps://github.com/cheeun/odmで利用可能です。

関連論文リスト

• CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
  本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。 CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。 パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2022-07-21T07:50:50Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)
• AUSN: Approximately Uniform Quantization by Adaptively Superimposing Non-uniform Distribution for Deep Neural Networks [0.7378164273177589]
  既存の一様および非一様量子化法は、表現範囲と表現解像度の間に固有の矛盾を示す。 重みとアクティベーションを定量化する新しい量子化法を提案する。 鍵となる考え方は、複数の非一様量子化値、すなわち AUSN を適応的に重ね合わせることで、ユニフォーム量子化を近似することである。
  論文  参考訳（メタデータ） (2020-07-08T05:10:53Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。