論文の概要: SRFormerV2: Taking a Closer Look at Permuted Self-Attention for Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2303.09735v2
- Date: Wed, 14 Aug 2024 06:12:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 18:56:36.664417
- Title: SRFormerV2: Taking a Closer Look at Permuted Self-Attention for Image Super-Resolution
- Title(参考訳): SRFormerV2:画像の超解像のための変化した自己認識をよりよく見る
- Authors: Yupeng Zhou, Zhen Li, Chun-Le Guo, Li Liu, Ming-Ming Cheng, Qibin Hou,
- Abstract要約: SRFormerは、大きなウィンドウの自己注意の恩恵を享受できる、単純だが斬新な方法である。
我々のSRFormerはUrban100データセットで33.86dBのPSNRスコアを獲得し、SwinIRよりも0.46dB高い。
実験により, SRFormerV2と呼ばれるスケールモデルにより, 結果がさらに向上し, 最先端の達成が期待できることがわかった。
- 参考スコア(独自算出の注目度): 74.48610723198514
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Previous works have shown that increasing the window size for Transformer-based image super-resolution models (e.g., SwinIR) can significantly improve the model performance. Still, the computation overhead is also considerable when the window size gradually increases. In this paper, we present SRFormer, a simple but novel method that can enjoy the benefit of large window self-attention but introduces even less computational burden. The core of our SRFormer is the permuted self-attention (PSA), which strikes an appropriate balance between the channel and spatial information for self-attention. Without any bells and whistles, we show that our SRFormer achieves a 33.86dB PSNR score on the Urban100 dataset, which is 0.46dB higher than that of SwinIR but uses fewer parameters and computations. In addition, we also attempt to scale up the model by further enlarging the window size and channel numbers to explore the potential of Transformer-based models. Experiments show that our scaled model, named SRFormerV2, can further improve the results and achieves state-of-the-art. We hope our simple and effective approach could be useful for future research in super-resolution model design. The homepage is https://z-yupeng.github.io/SRFormer/.
- Abstract(参考訳): 従来の研究によると、トランスフォーマーベースの超解像モデル(例えばSwinIR)のウィンドウサイズを増大させることで、モデル性能が大幅に向上することが示されている。
それでも、ウィンドウサイズが徐々に大きくなると、計算オーバーヘッドもかなり大きくなる。
本稿では,SRFormerを提案する。SRFormerは,大きなウィンドウ自己注意の利点を享受できるが,計算負担を低減できる簡易な手法である。
SRFormerのコアとなるのは、チャネルと空間情報の適切なバランスを保ちながら自己認識を行うpermuted self-attention (PSA) である。
我々のSRFormerは、SwinIRよりも0.46dB高いUrban100データセット上で33.86dBのPSNRスコアを達成しているが、パラメータや計算は少ない。
さらに、トランスフォーマーモデルの可能性を探るため、ウィンドウサイズとチャネル番号をさらに大きくすることで、モデルのスケールアップも試みている。
実験により, SRFormerV2と呼ばれるスケールモデルにより, 結果がさらに向上し, 最先端の達成が期待できることがわかった。
超高解像度モデル設計における今後の研究に、我々のシンプルで効果的なアプローチが役立つことを願っている。
ホームページはhttps://z-yupeng.github.io/SRFormer/。
関連論文リスト
- HiT-SR: Hierarchical Transformer for Efficient Image Super-Resolution [70.52256118833583]
変換器ベースSRネットワークを階層変換器(HiT-SR)に変換する戦略を提案する。
具体的には、一般的に使われている固定された小さなウィンドウを階層的なウィンドウに置き換えて、異なるスケールで機能を集約する。
大規模なウィンドウに必要となる計算量を考慮すると、窓の大きさに線形な複雑性を持つ空間チャネル相関法をさらに設計する。
論文 参考訳(メタデータ) (2024-07-08T12:42:10Z) - Transforming Image Super-Resolution: A ConvFormer-based Efficient
Approach [63.98380888730723]
本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。
CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。
これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
論文 参考訳(メタデータ) (2024-01-11T03:08:00Z) - SparseSpikformer: A Co-Design Framework for Token and Weight Pruning in
Spiking Transformer [12.717450255837178]
スパイキングニューラルネットワーク(SNN)は低消費電力と高エネルギー効率の利点がある。
最も先進的なSNNであるSpikformerは、Transformerの自己保持モジュールとSNNを組み合わせて、優れたパフォーマンスを実現している。
本稿では,SparseSpikformerについて紹介する。SparseSpikformerはトークンとウェイトプルーニング技術を用いてSparseSpikformerのスパーシ性を実現するための共同設計フレームワークである。
論文 参考訳(メタデータ) (2023-11-15T09:22:52Z) - Single Image Super-Resolution Using Lightweight Networks Based on Swin
Transformer [2.9649783577150837]
我々は、Swin Transformerに基づくMSwinSRとUGSwinSRという2つの軽量モデルを提案する。
MSwinSRは、最先端のSwinIRと比較してPSNRを$mathbf0.07dB$で増加させる。
パラメータの数は$mathbf30.68%$で、計算コストは$mathbf9.936%$で削減できる。
論文 参考訳(メタデータ) (2022-10-20T05:03:16Z) - Efficient Image Super-Resolution using Vast-Receptive-Field Attention [49.87316814164699]
注意機構は、高度な超解像(SR)ネットワークの設計において重要な役割を果たす。
本研究では,アテンション機構の改善により,効率的なSRネットワークを設計する。
VAst-receptive-field Pixel attention networkであるVapSRを提案する。
論文 参考訳(メタデータ) (2022-10-12T07:01:00Z) - ShuffleMixer: An Efficient ConvNet for Image Super-Resolution [88.86376017828773]
本稿では、大きな畳み込みとチャネル分割シャッフル操作を探索する軽量画像超解像のためのShuffleMixerを提案する。
具体的には,チャネル分割とシャッフルを基本成分とする2つのプロジェクション層を効率よく混合する。
実験結果から,ShuffleMixerはモデルパラメータやFLOPの手法に比べて約6倍小さいことがわかった。
論文 参考訳(メタデータ) (2022-05-30T15:26:52Z) - Lightweight Single-Image Super-Resolution Network with Attentive
Auxiliary Feature Learning [73.75457731689858]
本稿では,SISR の注意補助機能 (A$2$F) に基づく計算効率が高く正確なネットワークを構築した。
大規模データセットを用いた実験結果から,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2020-11-13T06:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。