論文の概要: GhostSR: Learning Ghost Features for Efficient Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2101.08525v1
- Date: Thu, 21 Jan 2021 10:09:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-21 07:50:11.203236
- Title: GhostSR: Learning Ghost Features for Efficient Image Super-Resolution
- Title（参考訳）: GhostSR: 効率的な画像超解法のためのゴースト機能を学ぶ
- Authors: Ying Nie, Kai Han, Zhenhua Liu, An Xiao, Yiping Deng, Chunjing Xu,
Yunhe Wang
- Abstract要約: 畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。
SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。
提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
- 参考スコア（独自算出の注目度）: 49.393251361038025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern single image super-resolution (SISR) system based on convolutional
neural networks (CNNs) achieves fancy performance while requires huge
computational costs. The problem on feature redundancy is well studied in
visual recognition task, but rarely discussed in SISR. Based on the observation
that many features in SISR models are also similar to each other, we propose to
use shift operation to generate the redundant features (i.e., Ghost features).
Compared with depth-wise convolution which is not friendly to GPUs or NPUs,
shift operation can bring practical inference acceleration for CNNs on common
hardware. We analyze the benefits of shift operation for SISR and make the
shift orientation learnable based on Gumbel-Softmax trick. For a given
pre-trained model, we first cluster all filters in each convolutional layer to
identify the intrinsic ones for generating intrinsic features. Ghost features
will be derived by moving these intrinsic features along a specific
orientation. The complete output features are constructed by concatenating the
intrinsic and ghost features together. Extensive experiments on several
benchmark models and datasets demonstrate that both the non-compact and
lightweight SISR models embedded in our proposed module can achieve comparable
performance to that of their baselines with large reduction of parameters,
FLOPs and GPU latency. For instance, we reduce the parameters by 47%, FLOPs by
46% and GPU latency by 41% of EDSR x2 network without significant performance
degradation.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)に基づく現代の単一画像超解像システム(SISR)は、膨大な計算コストを必要とする間、豪華な性能を実現する。
特徴冗長性に関する問題は、視覚認識タスクにおいてよく研究されているが、SISRで論じられることは稀である。
sisrモデルの多くの特徴が互いに類似しているという観測に基づいて,シフト演算を用いて冗長な特徴(ゴースト特徴)を生成することを提案する。
GPUやNPUと親和性のないディープワイド・コンボリューションと比較して、シフト操作は一般的なハードウェア上でのCNNの実用的な推論アクセラレーションをもたらす。
本稿では,sisrのシフト操作の利点を分析し,ガムベルソフトマックストリックに基づいてシフト方向を学習可能にする。
与えられた事前学習モデルに対して、まず各畳み込み層に全てのフィルタをクラスタリングし、固有の特徴を生成する固有のものを特定する。
ゴースト機能は、これらの固有の特徴を特定の方向に沿って移動させることによって引き起こされる。
完全な出力特徴は、本質的特徴とゴースト特徴を結合して構成される。
いくつかのベンチマークモデルとデータセットに対する大規模な実験により、提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が、パラメータ、FLOP、GPUレイテンシを大幅に削減することで、ベースラインのモデルと同等のパフォーマンスを達成できることが示されている。
例えば、パラメータを47%削減し、フロップを46%、gpuレイテンシをedsr x2ネットワークの41%削減しました。
関連論文リスト
- Residual Local Feature Network for Efficient Super-Resolution [20.62809970985125]
本研究では,Residual Local Feature Network (RLFN)を提案する。
主なアイデアは、3つの畳み込みレイヤを局所的な特徴学習に使用して、機能の集約を単純化することだ。
さらに,NTIRE 2022の高効率超解像問題において,第1位を獲得した。
論文 参考訳（メタデータ） (2022-05-16T08:46:34Z) - Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution [64.54162195322246]
畳み込みニューラルネットワーク(CNN)は画像超解像(SR)において大きな成功を収めた
ほとんどのディープCNNベースのSRモデルは、高い性能を得るために大量の計算を処理している。
SRタスクに効率的かつ効果的なダウンサンプリングモジュールを導入することで,HPUN(Hybrid Pixel-Unshuffled Network)を提案する。
論文 参考訳（メタデータ） (2022-03-16T20:10:41Z) - Ghost-dil-NetVLAD: A Lightweight Neural Network for Visual Place
Recognition [6.613990539660165]
本稿では,GhostCNNと呼ばれるフロントエンド認識モデルと学習可能なVLAD層をバックエンドとして構成した,軽量な教師付きエンドツーエンドニューラルネットワークを提案する。
提案する軽量モデルをさらに強化するため,Ghostモジュールに拡張畳み込みを加えて,より空間的意味情報を含む特徴を抽出し,精度を向上する。
論文 参考訳（メタデータ） (2021-12-22T06:05:02Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - GhostShiftAddNet: More Features from Energy-Efficient Operations [1.2891210250935146]
ディープ畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、計算とメモリ集約である。
本稿では,ハードウェア効率のよいディープネットワークを実現するGhostShiftAddNetを提案する。
我々は新しいボトルネックブロックであるGhostSAを導入し、ブロック内のすべての乗算を安価な演算に変換する。
論文 参考訳（メタデータ） (2021-09-20T12:50:42Z) - Adaptive Recursive Circle Framework for Fine-grained Action Recognition [95.51097674917851]
ビデオにおける微粒な空間時間ダイナミクスのモデル化は、アクション認識にとって難しい問題である。
既存のほとんどのメソッドは、純粋なフィードフォワード方式でレイヤの特徴を生成する。
本稿では,純粋なフィードフォワード層のための微細なデコレータであるAdaptive Recursive Circleフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-25T14:24:29Z) - MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking [72.65494220685525]
可視データと熱データ間のメッセージ通信を促進するために,新しい動的モダリティ対応フィルタ生成モジュール(MFGNet)を提案する。
我々は、2つの独立ネットワークを持つ動的モダリティ対応フィルタを生成し、その可視フィルタとサーマルフィルタをそれぞれ、対応する入力特徴写像上で動的畳み込み演算を行う。
重閉塞,高速移動,外見による問題に対処するため,新たな方向認識型目標誘導型アテンション機構を活用することで,共同で局所的・グローバル検索を行うことを提案する。
論文 参考訳（メタデータ） (2021-07-22T03:10:51Z) - Lightweight Image Super-Resolution with Hierarchical and Differentiable
Neural Architecture Search [38.83764580480486]
単一画像スーパーリゾリューション(SISR)タスクは、ディープニューラルネットワークで大きなパフォーマンスを達成しました。
本稿では, セルレベルとネットワークレベルの両方に対して, 軽量SISRモデル検索のための新しい微分可能なニューラルアーキテクチャ探索手法を提案する。
論文 参考訳（メタデータ） (2021-05-09T13:30:16Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。