論文の概要: Incorporating Transformer Designs into Convolutions for Lightweight
Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2303.14324v1
- Date: Sat, 25 Mar 2023 01:32:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 20:38:07.630192
- Title: Incorporating Transformer Designs into Convolutions for Lightweight
Image Super-Resolution
- Title(参考訳): 軽量画像超解像のための変換器設計の畳み込み
- Authors: Gang Wu, Junjun Jiang, Yuanchao Bai, and Xianming Liu
- Abstract要約: 大規模な畳み込みカーネルは畳み込みニューラルネットワークの設計に人気がある。
カーネルのサイズが大きくなるとパラメータの数が2倍に増加し、計算量やメモリの要求も大きくなる。
本稿では,自己注意機構を付加した標準畳み込みを改良した近傍注意モジュールを提案する。
NAモジュールをベースとして,TSRと呼ばれる軽量単一画像超解像(SISR)ネットワークを提案する。
- 参考スコア(独自算出の注目度): 46.32359056424278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, the use of large convolutional kernels has become popular in
designing convolutional neural networks due to their ability to capture
long-range dependencies and provide large receptive fields. However, the
increase in kernel size also leads to a quadratic growth in the number of
parameters, resulting in heavy computation and memory requirements. To address
this challenge, we propose a neighborhood attention (NA) module that upgrades
the standard convolution with a self-attention mechanism. The NA module
efficiently extracts long-range dependencies in a sliding window pattern,
thereby achieving similar performance to large convolutional kernels but with
fewer parameters.
Building upon the NA module, we propose a lightweight single image
super-resolution (SISR) network named TCSR. Additionally, we introduce an
enhanced feed-forward network (EFFN) in TCSR to improve the SISR performance.
EFFN employs a parameter-free spatial-shift operation for efficient feature
aggregation. Our extensive experiments and ablation studies demonstrate that
TCSR outperforms existing lightweight SISR methods and achieves
state-of-the-art performance. Our codes are available at
\url{https://github.com/Aitical/TCSR}.
- Abstract(参考訳): 近年、大規模な畳み込みカーネルの使用は、長距離依存を捕捉し、大きな受容場を提供する能力により、畳み込みニューラルネットワークの設計において人気が高まっている。
しかし、カーネルのサイズが大きくなるとパラメータの数が2倍に増加し、計算量やメモリの要求も大きくなる。
この課題に対処するため,我々は,標準畳み込みを自己着脱機構でアップグレードするneighborion attention (na)モジュールを提案する。
NAモジュールは、スライディングウインドウパターンの長距離依存性を効率的に抽出し、大きな畳み込みカーネルと同等の性能を得るが、パラメータが少ない。
NAモジュールをベースとして,TSRと呼ばれる軽量単一画像超解像(SISR)ネットワークを提案する。
さらに, SISRの性能向上のために, TCSR に拡張フィードフォワードネットワーク (EFFN) を導入する。
EFFNはパラメータフリーな空間シフト演算を用いて効率的な特徴集約を行う。
我々の広範な実験とアブレーション研究により、TCSRは既存の軽量SISR法より優れ、最先端の性能を実現していることが示された。
我々のコードは \url{https://github.com/Aitical/TCSR} で入手できる。
関連論文リスト
- Transforming Image Super-Resolution: A ConvFormer-based Efficient
Approach [63.98380888730723]
本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。
CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。
これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
論文 参考訳(メタデータ) (2024-01-11T03:08:00Z) - MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。
最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
論文 参考訳(メタデータ) (2023-04-25T05:44:50Z) - Spatially-Adaptive Feature Modulation for Efficient Image
Super-Resolution [90.16462805389943]
視覚変換器(ViT)のようなブロック上に,空間適応型特徴変調(SAFM)機構を開発する。
提案法は最先端のSR法よりも3倍程度小さい。
論文 参考訳(メタデータ) (2023-02-27T14:19:31Z) - IMDeception: Grouped Information Distilling Super-Resolution Network [7.6146285961466]
SISR(Single-Image-Super-Resolution)は、ディープラーニング手法の最近の進歩の恩恵を受けている古典的なコンピュータビジョン問題である。
本稿では,機能集約のためのIICモジュールの代替として,GPRM(Global Progressive Refinement Module)を提案する。
また,1秒あたりのパラメータ数や浮動小数点演算量(FLOPS)をさらに削減するために,GIDB(Grouped Information Distilling Blocks)を提案する。
実験の結果,提案したネットワークは,パラメータ数やFLOPSが限られているにもかかわらず,最先端モデルと同等に動作していることがわかった。
論文 参考訳(メタデータ) (2022-04-25T06:43:45Z) - SD-Conv: Towards the Parameter-Efficiency of Dynamic Convolution [16.56592303409295]
動的畳み込みは、無視可能なFLOPの増加による効率の良いCNNの性能向上を実現する。
我々はこれら2つのパスを自然に統合する新しいフレームワーク textbfSparse Dynamic Convolution (textscSD-Conv) を提案する。
論文 参考訳(メタデータ) (2022-04-05T14:03:54Z) - Asymmetric CNN for image super-resolution [102.96131810686231]
深層畳み込みニューラルネットワーク(CNN)は、過去5年間で低レベルビジョンに広く適用されています。
画像超解像のための非対称ブロック(AB)、mem?ory拡張ブロック(MEB)、高周波数特徴強調ブロック(HFFEB)からなる非対称CNN(ACNet)を提案する。
我々のACNetは、ブラインドノイズの単一画像超解像(SISR)、ブラインドSISR、ブラインドSISRを効果的に処理できる。
論文 参考訳(メタデータ) (2021-03-25T07:10:46Z) - GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。
SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。
提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
論文 参考訳(メタデータ) (2021-01-21T10:09:47Z) - OverNet: Lightweight Multi-Scale Super-Resolution with Overscaling
Network [3.6683231417848283]
SISRを任意のスケールで1つのモデルで解くための,深層でも軽量な畳み込みネットワークであるOverNetを紹介した。
我々のネットワークは、従来の手法よりも少ないパラメータを使用しながら、標準ベンチマークにおいて、過去の最先端結果よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-08-05T22:10:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。