論文の概要: N-Gram in Swin Transformers for Efficient Lightweight Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2211.11436v3
• Date: Mon, 20 Mar 2023 12:48:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 01:46:35.296477
• Title: N-Gram in Swin Transformers for Efficient Lightweight Image Super-Resolution
• Title（参考訳）: 高速軽量画像超解像のためのスイム変圧器のN-Gram
• Authors: Haram Choi, Jeongmin Lee and Jihoon Yang
• Abstract要約: トランスフォーマーを用いた低レベルビジョンにN-Gramコンテキストを初めて導入する。 N-GramはスライドWSAによって相互に相互作用し、劣化したピクセルを復元する領域を広げる。 また、N-Gramコンテキストで他のSwinベースのSR手法を改善し、SwinIR-NGという拡張モデルを構築する。
• 参考スコア（独自算出の注目度）: 1.4502611532302039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While some studies have proven that Swin Transformer (Swin) with window self-attention (WSA) is suitable for single image super-resolution (SR), the plain WSA ignores the broad regions when reconstructing high-resolution images due to a limited receptive field. In addition, many deep learning SR methods suffer from intensive computations. To address these problems, we introduce the N-Gram context to the low-level vision with Transformers for the first time. We define N-Gram as neighboring local windows in Swin, which differs from text analysis that views N-Gram as consecutive characters or words. N-Grams interact with each other by sliding-WSA, expanding the regions seen to restore degraded pixels. Using the N-Gram context, we propose NGswin, an efficient SR network with SCDP bottleneck taking multi-scale outputs of the hierarchical encoder. Experimental results show that NGswin achieves competitive performance while maintaining an efficient structure when compared with previous leading methods. Moreover, we also improve other Swin-based SR methods with the N-Gram context, thereby building an enhanced model: SwinIR-NG. Our improved SwinIR-NG outperforms the current best lightweight SR approaches and establishes state-of-the-art results. Codes are available at https://github.com/rami0205/NGramSwin.
• Abstract（参考訳）: ウィンドウ自己アテンション(WSA)を持つSwin Transformer(Swin)が単一画像超解像(SR)に適していることを証明する研究もあるが、通常のWSAは受容野の制限により高分解能画像の再構成を行う際には広い領域を無視する。 さらに、多くのディープラーニングsr手法は集中的な計算に苦しむ。 これらの問題に対処するため,トランスフォーマーを用いた低レベルビジョンにN-Gramコンテキストを導入する。 我々はN-GramをSwinの隣接するローカルウィンドウと定義し、N-Gramを連続した文字や単語とみなすテキスト解析とは異なる。 N-GramはスライドWSAによって相互作用し、劣化したピクセルを復元する領域を広げる。 N-Gramコンテキストを用いて,階層エンコーダのマルチスケール出力を考慮したSCDPボトルネック付き効率的なSRネットワークNGswinを提案する。 実験結果から,NGswinは従来の先行手法と比較して効率的な構造を維持しつつ,競争性能を向上することが示された。 さらに、N-Gramコンテキストで他のSwinベースのSR手法を改善し、SwinIR-NGという拡張モデルを構築する。 改良されたSwinIR-NGは、現在の最高の軽量SRアプローチよりも優れ、最先端の結果を確立する。 コードはhttps://github.com/rami0205/ngramswinで入手できる。

関連論文リスト

• HiT-SR: Hierarchical Transformer for Efficient Image Super-Resolution [70.52256118833583]
  変換器ベースSRネットワークを階層変換器(HiT-SR)に変換する戦略を提案する。 具体的には、一般的に使われている固定された小さなウィンドウを階層的なウィンドウに置き換えて、異なるスケールで機能を集約する。 大規模なウィンドウに必要となる計算量を考慮すると、窓の大きさに線形な複雑性を持つ空間チャネル相関法をさらに設計する。
  論文  参考訳（メタデータ） (2024-07-08T12:42:10Z)
• ELGC-Net: Efficient Local-Global Context Aggregation for Remote Sensing Change Detection [65.59969454655996]
  本稿では,変化領域を正確に推定するために,リッチな文脈情報を利用する効率的な変化検出フレームワークELGC-Netを提案する。 提案するELGC-Netは、リモートセンシング変更検出ベンチマークにおいて、最先端の性能を新たに設定する。 また,ELGC-Net-LWも導入した。
  論文  参考訳（メタデータ） (2024-03-26T17:46:25Z)
• Incorporating Transformer Designs into Convolutions for Lightweight Image Super-Resolution [46.32359056424278]
  大規模な畳み込みカーネルは畳み込みニューラルネットワークの設計に人気がある。 カーネルのサイズが大きくなるとパラメータの数が2倍に増加し、計算量やメモリの要求も大きくなる。 本稿では,自己注意機構を付加した標準畳み込みを改良した近傍注意モジュールを提案する。 NAモジュールをベースとして,TSRと呼ばれる軽量単一画像超解像(SISR)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-25T01:32:18Z)
• Single Image Super-Resolution Using Lightweight Networks Based on Swin Transformer [2.9649783577150837]
  我々は、Swin Transformerに基づくMSwinSRとUGSwinSRという2つの軽量モデルを提案する。 MSwinSRは、最先端のSwinIRと比較してPSNRを$mathbf0.07dB$で増加させる。 パラメータの数は$mathbf30.68%$で、計算コストは$mathbf9.936%$で削減できる。
  論文  参考訳（メタデータ） (2022-10-20T05:03:16Z)
• Signal Processing for Implicit Neural Representations [80.38097216996164]
  Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。 既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。 本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-17T06:29:07Z)
• CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
  本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。 CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。 パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2022-07-21T07:50:50Z)
• Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution [64.54162195322246]
  畳み込みニューラルネットワーク(CNN)は画像超解像(SR)において大きな成功を収めた ほとんどのディープCNNベースのSRモデルは、高い性能を得るために大量の計算を処理している。 SRタスクに効率的かつ効果的なダウンサンプリングモジュールを導入することで,HPUN(Hybrid Pixel-Unshuffled Network)を提案する。
  論文  参考訳（メタデータ） (2022-03-16T20:10:41Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。