論文の概要: N-Gram in Swin Transformers for Efficient Lightweight Image
Super-Resolution
- arxiv url: http://arxiv.org/abs/2211.11436v3
- Date: Mon, 20 Mar 2023 12:48:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 01:46:35.296477
- Title: N-Gram in Swin Transformers for Efficient Lightweight Image
Super-Resolution
- Title(参考訳): 高速軽量画像超解像のためのスイム変圧器のN-Gram
- Authors: Haram Choi, Jeongmin Lee and Jihoon Yang
- Abstract要約: トランスフォーマーを用いた低レベルビジョンにN-Gramコンテキストを初めて導入する。
N-GramはスライドWSAによって相互に相互作用し、劣化したピクセルを復元する領域を広げる。
また、N-Gramコンテキストで他のSwinベースのSR手法を改善し、SwinIR-NGという拡張モデルを構築する。
- 参考スコア(独自算出の注目度): 1.4502611532302039
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While some studies have proven that Swin Transformer (Swin) with window
self-attention (WSA) is suitable for single image super-resolution (SR), the
plain WSA ignores the broad regions when reconstructing high-resolution images
due to a limited receptive field. In addition, many deep learning SR methods
suffer from intensive computations. To address these problems, we introduce the
N-Gram context to the low-level vision with Transformers for the first time. We
define N-Gram as neighboring local windows in Swin, which differs from text
analysis that views N-Gram as consecutive characters or words. N-Grams interact
with each other by sliding-WSA, expanding the regions seen to restore degraded
pixels. Using the N-Gram context, we propose NGswin, an efficient SR network
with SCDP bottleneck taking multi-scale outputs of the hierarchical encoder.
Experimental results show that NGswin achieves competitive performance while
maintaining an efficient structure when compared with previous leading methods.
Moreover, we also improve other Swin-based SR methods with the N-Gram context,
thereby building an enhanced model: SwinIR-NG. Our improved SwinIR-NG
outperforms the current best lightweight SR approaches and establishes
state-of-the-art results. Codes are available at
https://github.com/rami0205/NGramSwin.
- Abstract(参考訳): ウィンドウ自己アテンション(WSA)を持つSwin Transformer(Swin)が単一画像超解像(SR)に適していることを証明する研究もあるが、通常のWSAは受容野の制限により高分解能画像の再構成を行う際には広い領域を無視する。
さらに、多くのディープラーニングsr手法は集中的な計算に苦しむ。
これらの問題に対処するため,トランスフォーマーを用いた低レベルビジョンにN-Gramコンテキストを導入する。
我々はN-GramをSwinの隣接するローカルウィンドウと定義し、N-Gramを連続した文字や単語とみなすテキスト解析とは異なる。
N-GramはスライドWSAによって相互作用し、劣化したピクセルを復元する領域を広げる。
N-Gramコンテキストを用いて,階層エンコーダのマルチスケール出力を考慮したSCDPボトルネック付き効率的なSRネットワークNGswinを提案する。
実験結果から,NGswinは従来の先行手法と比較して効率的な構造を維持しつつ,競争性能を向上することが示された。
さらに、N-Gramコンテキストで他のSwinベースのSR手法を改善し、SwinIR-NGという拡張モデルを構築する。
改良されたSwinIR-NGは、現在の最高の軽量SRアプローチよりも優れ、最先端の結果を確立する。
コードはhttps://github.com/rami0205/ngramswinで入手できる。
関連論文リスト
- Incorporating Transformer Designs into Convolutions for Lightweight
Image Super-Resolution [46.32359056424278]
大規模な畳み込みカーネルは畳み込みニューラルネットワークの設計に人気がある。
カーネルのサイズが大きくなるとパラメータの数が2倍に増加し、計算量やメモリの要求も大きくなる。
本稿では,自己注意機構を付加した標準畳み込みを改良した近傍注意モジュールを提案する。
NAモジュールをベースとして,TSRと呼ばれる軽量単一画像超解像(SISR)ネットワークを提案する。
論文 参考訳(メタデータ) (2023-03-25T01:32:18Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - LR-CSNet: Low-Rank Deep Unfolding Network for Image Compressive Sensing [19.74767410530179]
深部展開型ネットワーク(DUN)は、圧縮センシング(CS)に有効なアプローチであることが証明されている。
本研究では,自然画像CSのための低ランクCSネットワーク(LR-CSNet)を提案する。
広範に検討された3つのデータセットに対する実験は、LR-CSNetの有望な性能を示す。
論文 参考訳(メタデータ) (2022-12-18T13:54:11Z) - Single Image Super-Resolution Using Lightweight Networks Based on Swin
Transformer [2.9649783577150837]
我々は、Swin Transformerに基づくMSwinSRとUGSwinSRという2つの軽量モデルを提案する。
MSwinSRは、最先端のSwinIRと比較してPSNRを$mathbf0.07dB$で増加させる。
パラメータの数は$mathbf30.68%$で、計算コストは$mathbf9.936%$で削減できる。
論文 参考訳(メタデータ) (2022-10-20T05:03:16Z) - Signal Processing for Implicit Neural Representations [80.38097216996164]
Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。
既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。
本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
論文 参考訳(メタデータ) (2022-10-17T06:29:07Z) - CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。
CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。
パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
論文 参考訳(メタデータ) (2022-07-21T07:50:50Z) - Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution [64.54162195322246]
畳み込みニューラルネットワーク(CNN)は画像超解像(SR)において大きな成功を収めた
ほとんどのディープCNNベースのSRモデルは、高い性能を得るために大量の計算を処理している。
SRタスクに効率的かつ効果的なダウンサンプリングモジュールを導入することで,HPUN(Hybrid Pixel-Unshuffled Network)を提案する。
論文 参考訳(メタデータ) (2022-03-16T20:10:41Z) - Visual Saliency Transformer [127.33678448761599]
RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。
イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。
実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
論文 参考訳(メタデータ) (2021-04-25T08:24:06Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。