論文の概要: Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution
Networks
- arxiv url: http://arxiv.org/abs/2203.03844v2
- Date: Thu, 10 Mar 2022 06:58:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-11 13:00:08.310122
- Title: Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution
Networks
- Title(参考訳): 超高精度超解像ネットワークのための動的デュアルトレーニングバウンド
- Authors: Yunshan Zhong, Mingbao Lin, Xunchao Li, Ke Li, Yunhang Shen, Fei Chao,
Yongjian Wu, Rongrong Ji
- Abstract要約: 動的デュアル・トレーニング・バウンダリ(DDTB)と呼ばれる新しいアクティベーション・量子化器を提案する。
DDTBは超低精度で優れた性能を示した。
例えば、我々のDDTBは、EDSRを2ビットに量子化し、出力画像をx4にスケールアップする場合、Urban100ベンチマークで0.70dBのPSNRアップを達成する。
- 参考スコア(独自算出の注目度): 82.18396309806577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Light-weight super-resolution (SR) models have received considerable
attention for their serviceability in mobile devices. Many efforts employ
network quantization to compress SR models. However, these methods suffer from
severe performance degradation when quantizing the SR models to ultra-low
precision (e.g., 2-bit and 3-bit) with the low-cost layer-wise quantizer. In
this paper, we identify that the performance drop comes from the contradiction
between the layer-wise symmetric quantizer and the highly asymmetric activation
distribution in SR models. This discrepancy leads to either a waste on the
quantization levels or detail loss in reconstructed images. Therefore, we
propose a novel activation quantizer, referred to as Dynamic Dual Trainable
Bounds (DDTB), to accommodate the asymmetry of the activations. Specifically,
DDTB innovates in: 1) A layer-wise quantizer with trainable upper and lower
bounds to tackle the highly asymmetric activations. 2) A dynamic gate
controller to adaptively adjust the upper and lower bounds at runtime to
overcome the drastically varying activation ranges over different samples.To
reduce the extra overhead, the dynamic gate controller is quantized to 2-bit
and applied to only part of the SR networks according to the introduced dynamic
intensity. Extensive experiments demonstrate that our DDTB exhibits significant
performance improvements in ultra-low precision. For example, our DDTB achieves
a 0.70dB PSNR increase on Urban100 benchmark when quantizing EDSR to 2-bit and
scaling up output images to x4. Code is at
\url{https://github.com/zysxmu/DDTB}.
- Abstract(参考訳): 軽量スーパーレゾリューション(SR)モデルは、モバイルデバイスでの利用性に大きな注目を集めている。
多くの努力はsrモデルを圧縮するためにネットワーク量子化を利用している。
しかし、これらの手法は、SRモデルを低コスト層ワイド量子化器で超低精度(2ビット、3ビットなど)に定量化する際に、厳しい性能劣化に悩まされる。
本稿では,SRモデルにおける層次対称量子化器と高非対称活性化分布との矛盾から,性能低下が生じることを確かめる。
この違いは、量子化レベルの無駄や、再構成された画像の詳細な損失につながる。
そこで本研究では,アクティベーションの非対称性に対応するために,動的デュアルトレーニング境界(DDTB)と呼ばれる新しいアクティベーション量子化器を提案する。
具体的には、DDTBは:
1) 高度に非対称なアクティベーションに取り組むために, 上部および下部境界を訓練可能な層状量子化器。
2) 実行時の上限と下限を適応的に調整し, 異なるサンプルに対して大きく変化するアクティベーション範囲を克服する動的ゲートコントローラを, 追加オーバーヘッドを低減するために, 動的ゲートコントローラを2ビットに量子化し, 導入した動的強度に応じてsrネットワークの一部にのみ適用する。
DDTBは超低精度で高い性能向上を示した。
例えば、我々のDDTBは、EDSRを2ビットに量子化し、出力画像をx4にスケールアップする場合、Urban100ベンチマークで0.70dBのPSNRアップを達成する。
コードは \url{https://github.com/zysxmu/DDTB} にある。
関連論文リスト
- RepQuant: Towards Accurate Post-Training Quantization of Large
Transformer Models via Scale Reparameterization [8.827794405944637]
ポストトレーニング量子化(PTQ)は、大きなトランスモデルを圧縮するための有望な解である。
既存のPTQメソッドは、通常、非自明な性能損失を示す。
本稿では、量子化推論デカップリングパラダイムを備えた新しいPTQフレームワークRepQuantを提案する。
論文 参考訳(メタデータ) (2024-02-08T12:35:41Z) - BinaryViT: Towards Efficient and Accurate Binary Vision Transformers [4.339315098369913]
ビジョントランスフォーマー(ViT)は、ほとんどのコンピュータビジョンフィールドの基本的なアーキテクチャとして登場した。
最も強力な圧縮手法の1つとして、バイナライゼーションは、重みとアクティベーション値をpm$1として定量化することにより、ニューラルネットワークの計算を減らす。
既存のバイナライゼーション手法はCNNでは優れた性能を示したが、ViTの完全なバイナライゼーションはまだ未検討であり、性能低下に悩まされている。
論文 参考訳(メタデータ) (2023-05-24T05:06:59Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳(メタデータ) (2022-07-04T13:25:49Z) - Dynamic Slimmable Network [105.74546828182834]
ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。
ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。
静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
論文 参考訳(メタデータ) (2021-03-24T15:25:20Z) - Fully Quantized Image Super-Resolution Networks [81.75002888152159]
効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。
我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。
低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
論文 参考訳(メタデータ) (2020-11-29T03:53:49Z) - PAMS: Quantized Super-Resolution via Parameterized Max Scale [84.55675222525608]
深部畳み込みニューラルネットワーク(DCNN)は超解像処理(SR)において優位な性能を示した
本稿では,PAMS(Parameterized Max Scale)と呼ばれる新しい量子化手法を提案する。
実験により,提案手法はEDSRやRDNなどの既存のSRモデルを適切に圧縮・高速化できることが示された。
論文 参考訳(メタデータ) (2020-11-09T06:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。