論文の概要: Overcoming Distribution Mismatch in Quantizing Image Super-Resolution Networks

• arxiv url: http://arxiv.org/abs/2307.13337v2
• Date: Thu, 18 Jul 2024 08:37:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-20 00:12:03.769184
• Title: Overcoming Distribution Mismatch in Quantizing Image Super-Resolution Networks
• Title（参考訳）: 画像超解像ネットワークにおける配電ミスマッチの克服
• Authors: Cheeun Hong, Kyoung Mu Lee,
• Abstract要約: 量子化は画像超解像(SR)ネットワークの精度を低下させる。 既存の作業は、テスト時間中に量子化範囲を動的に適応することで、この分散ミスマッチ問題に対処する。 本稿では,SRネットワークにおける分散ミスマッチ問題を効果的に克服する量子化対応学習手法を提案する。
• 参考スコア（独自算出の注目度）: 53.23803932357899
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Although quantization has emerged as a promising approach to reducing computational complexity across various high-level vision tasks, it inevitably leads to accuracy loss in image super-resolution (SR) networks. This is due to the significantly divergent feature distributions across different channels and input images of the SR networks, which complicates the selection of a fixed quantization range. Existing works address this distribution mismatch problem by dynamically adapting quantization ranges to the varying distributions during test time. However, such a dynamic adaptation incurs additional computational costs during inference. In contrast, we propose a new quantization-aware training scheme that effectively Overcomes the Distribution Mismatch problem in SR networks without the need for dynamic adaptation. Intuitively, this mismatch can be mitigated by regularizing the distance between the feature and a fixed quantization range. However, we observe that such regularization can conflict with the reconstruction loss during training, negatively impacting SR accuracy. Therefore, we opt to regularize the mismatch only when the gradients of the regularization are aligned with those of the reconstruction loss. Additionally, we introduce a layer-wise weight clipping correction scheme to determine a more suitable quantization range for layer-wise weights. Experimental results demonstrate that our framework effectively reduces the distribution mismatch and achieves state-of-the-art performance with minimal computational overhead.
• Abstract（参考訳）: 量子化は、様々なハイレベルな視覚タスクにおける計算複雑性を減らすための有望なアプローチとして現れてきたが、必然的に画像超解像(SR)ネットワークの精度の低下につながっている。 これは、異なるチャネルにまたがる特徴分布と、固定量子化範囲の選択を複雑にするSRネットワークの入力画像が著しく異なるためである。 既存の研究は、テスト時間中に様々な分布に量子化範囲を動的に適応させることによって、この分布ミスマッチ問題に対処している。 しかし、このような動的適応は推論中にさらなる計算コストを発生させる。 対照的に、SRネットワークにおける分散ミスマッチ問題を動的適応を必要とせずに効果的に克服する新しい量子化対応トレーニング手法を提案する。 直感的には、このミスマッチは、特徴と固定量子化範囲の間の距離を規則化することで緩和することができる。 しかし、そのような正規化は訓練中の再建損失と矛盾し、SR精度に悪影響を及ぼす。 したがって,正規化の勾配が復元損失の勾配と一致している場合にのみ,ミスマッチを正則化する。 さらに,重み付け補正手法を導入し,重み付けのためのより適切な定量化範囲を決定する。 実験により,本フレームワークは分散ミスマッチを効果的に低減し,計算オーバーヘッドを最小限に抑えながら最先端の性能を実現することを示した。

関連論文リスト

• CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
  本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。 CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。 パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2022-07-21T07:50:50Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)
• AUSN: Approximately Uniform Quantization by Adaptively Superimposing Non-uniform Distribution for Deep Neural Networks [0.7378164273177589]
  既存の一様および非一様量子化法は、表現範囲と表現解像度の間に固有の矛盾を示す。 重みとアクティベーションを定量化する新しい量子化法を提案する。 鍵となる考え方は、複数の非一様量子化値、すなわち AUSN を適応的に重ね合わせることで、ユニフォーム量子化を近似することである。
  論文  参考訳（メタデータ） (2020-07-08T05:10:53Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。