論文の概要: Learning Frequency-aware Dynamic Network for Efficient Super-Resolution
- arxiv url: http://arxiv.org/abs/2103.08357v1
- Date: Mon, 15 Mar 2021 12:54:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 13:53:03.547599
- Title: Learning Frequency-aware Dynamic Network for Efficient Super-Resolution
- Title(参考訳): 高効率スーパーリゾリューションのための学習周波数認識ダイナミックネットワーク
- Authors: Wenbin Xie, Dehua Song, Chang Xu, Chunjing Xu, Hui Zhang, Yunhe Wang
- Abstract要約: 本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
- 参考スコア(独自算出の注目度): 56.98668484450857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning based methods, especially convolutional neural networks (CNNs)
have been successfully applied in the field of single image super-resolution
(SISR). To obtain better fidelity and visual quality, most of existing networks
are of heavy design with massive computation. However, the computation
resources of modern mobile devices are limited, which cannot easily support the
expensive cost. To this end, this paper explores a novel frequency-aware
dynamic network for dividing the input into multiple parts according to its
coefficients in the discrete cosine transform (DCT) domain. In practice, the
high-frequency part will be processed using expensive operations and the
lower-frequency part is assigned with cheap operations to relieve the
computation burden. Since pixels or image patches belong to low-frequency areas
contain relatively few textural details, this dynamic network will not affect
the quality of resulting super-resolution images. In addition, we embed
predictors into the proposed dynamic network to end-to-end fine-tune the
handcrafted frequency-aware masks. Extensive experiments conducted on benchmark
SISR models and datasets show that the frequency-aware dynamic network can be
employed for various SISR neural architectures to obtain the better tradeoff
between visual quality and computational complexity. For instance, we can
reduce the FLOPs of EDSR model by approximate $50\%$ while preserving
state-of-the-art SISR performance.
- Abstract(参考訳): 深層学習に基づく手法、特に畳み込みニューラルネットワーク(cnns)は、単一画像超解像(sisr)の分野でうまく適用されている。
より良い忠実性と視覚的品質を得るために、既存のネットワークのほとんどは、大規模な計算を備えた重い設計です。
しかし、現代のモバイル機器の計算資源は限られており、コストを抑えることは容易ではない。
本稿では,離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
画素や画像パッチは低周波領域に属するため、テクスチャの詳細は比較的少ないため、この動的ネットワークは結果の超解像度画像の品質に影響を与えない。
さらに,提案する動的ネットワークに予測器を組み込んで,手作りの周波数認識マスクをエンド・ツー・エンドで調整する。
ベンチマークSISRモデルおよびデータセット上で実施された広範な実験は、視覚的品質と計算的複雑さのより良いトレードオフを得るために、様々なSISR神経アーキテクチャに周波数認識動的ネットワークを使用できることを示している。
例えば、最新のSISR性能を維持しながら、約$50\%$でEDSRモデルのFLOPを減らすことができます。
関連論文リスト
- A Heterogeneous Dynamic Convolutional Neural Network for Image
Super-resolution [111.97970576223622]
画像超解像(HDSRNet)における異種動的畳み込みネットワークを提案する。
下位のネットワークは対称アーキテクチャを使用して、異なるレイヤの関係を強化し、より構造的な情報をマイニングする。
実験結果から,HDSRNetは画像解決に有効であることが示唆された。
論文 参考訳(メタデータ) (2024-02-24T03:44:06Z) - Transforming Image Super-Resolution: A ConvFormer-based Efficient
Approach [63.98380888730723]
本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。
CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。
これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
論文 参考訳(メタデータ) (2024-01-11T03:08:00Z) - RN-Net: Reservoir Nodes-Enabled Neuromorphic Vision Sensing Network [8.680149712138423]
イベントベースのカメラは、生物学的視覚系のスパイクと非同期スパイク表現にインスパイアされている。
本稿では,局所的および大域的貯水池の動的時間エンコーディングと統合された単純な畳み込み層に基づくニューラルネットワークアーキテクチャを提案する。
RN-Netはこれまでに報告されたDV128 Gestureの99.2%の最高精度を達成しており、DVS Lipデータセットの67.5%の最高精度の1つである。
論文 参考訳(メタデータ) (2023-03-19T21:20:45Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - A Proper Orthogonal Decomposition approach for parameters reduction of
Single Shot Detector networks [0.0]
本稿では,古典的モデルオーダー削減手法であるProper Orthogonal Decompositionに基づく次元削減フレームワークを提案する。
我々は、PASCAL VOCデータセットを用いてSSD300アーキテクチャにそのようなフレームワークを適用し、ネットワーク次元の削減と、転送学習コンテキストにおけるネットワークの微調整における顕著な高速化を実証した。
論文 参考訳(メタデータ) (2022-07-27T14:43:14Z) - CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。
CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。
パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
論文 参考訳(メタデータ) (2022-07-21T07:50:50Z) - Compute and memory efficient universal sound source separation [23.152611264259225]
汎用オーディオソース分離のための効率的なニューラルネットワークアーキテクチャのファミリーを提供します。
この畳み込みネットワークのバックボーン構造は、SuDoRM-RF(Sccessive DOwnsampling and Resampling of Multi-Resolution Features)である。
実験の結果,SuDoRM-RFモデルは相容れない性能を示し,またいくつかの最先端ベンチマークを上回る性能を示した。
論文 参考訳(メタデータ) (2021-03-03T19:16:53Z) - Real-time Multi-Task Diffractive Deep Neural Networks via
Hardware-Software Co-design [1.6066483376871004]
本研究は,d$2$nnsでロバストかつノイズ耐性のあるマルチタスク学習を実現する,新しいハードウェアソフトウェア共同設計手法を提案する。
私たちの実験結果は、汎用性とハードウェア効率の大幅な改善を示し、提案されたマルチタスクD$2$NNアーキテクチャの堅牢性を実証します。
論文 参考訳(メタデータ) (2020-12-16T12:29:54Z) - Frequency learning for image classification [1.9336815376402716]
本稿では、トレーニング可能な周波数フィルタからなる入力画像のフーリエ変換を探索する新しい手法を提案する。
画像ブロックの周波数領域表現からグローバル特徴とローカル特徴の両方を学習するスライシング手法を提案する。
論文 参考訳(メタデータ) (2020-06-28T00:32:47Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳(メタデータ) (2020-04-08T10:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。