論文の概要: Reference-based Image Super-Resolution with Deformable Attention Transformer

• arxiv url: http://arxiv.org/abs/2207.11938v1
• Date: Mon, 25 Jul 2022 07:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 14:47:27.051114
• Title: Reference-based Image Super-Resolution with Deformable Attention Transformer
• Title（参考訳）: 変形性アテンション変換器を用いた参照型画像超解像
• Authors: Jiezhang Cao, Jingyun Liang, Kai Zhang, Yawei Li, Yulun Zhang, Wenguan Wang, Luc Van Goo
• Abstract要約: RefSRは、補助参照(Ref)画像を超解像低解像度(LR)画像に活用することを目的としている。 本稿では,複数のスケールを持つ変形可能なアテンション変換器,すなわちDATSRを提案する。 DATSRがベンチマークデータセット上で最先端のパフォーマンスを達成することを示す実験を行った。
• 参考スコア（独自算出の注目度）: 62.71769634254654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reference-based image super-resolution (RefSR) aims to exploit auxiliary reference (Ref) images to super-resolve low-resolution (LR) images. Recently, RefSR has been attracting great attention as it provides an alternative way to surpass single image SR. However, addressing the RefSR problem has two critical challenges: (i) It is difficult to match the correspondence between LR and Ref images when they are significantly different; (ii) How to transfer the relevant texture from Ref images to compensate the details for LR images is very challenging. To address these issues of RefSR, this paper proposes a deformable attention Transformer, namely DATSR, with multiple scales, each of which consists of a texture feature encoder (TFE) module, a reference-based deformable attention (RDA) module and a residual feature aggregation (RFA) module. Specifically, TFE first extracts image transformation (e.g., brightness) insensitive features for LR and Ref images, RDA then can exploit multiple relevant textures to compensate more information for LR features, and RFA lastly aggregates LR features and relevant textures to get a more visually pleasant result. Extensive experiments demonstrate that our DATSR achieves state-of-the-art performance on benchmark datasets quantitatively and qualitatively.
• Abstract（参考訳）: 参照ベース画像超解像(RefSR)は、補助参照(Ref)画像を超解像低分解能画像(LR)に活用することを目的としている。 近年、RefSRは単一のイメージSRを超える代替手段を提供するため、大きな注目を集めている。 しかし、RefSR問題に対処するには2つの重要な課題がある。 (i)LR画像とRef画像との対応が著しく異なる場合の一致は困難である。 (II) LR画像の詳細を補うためにRef画像から関連するテクスチャを転送する方法は非常に難しい。 本稿では,RefSRのこれらの問題に対処するため,複数のスケールを持つ変形性アテンショントランスフォーマー,すなわちDATSRを提案し,それぞれがテクスチャ特徴エンコーダ(TFE)モジュール,参照ベース変形性アテンション(RDA)モジュール,残像アグリゲーション(RFA)モジュールで構成されている。 具体的には、TFEはまずLRおよびRef画像のイメージ変換(例えば明るさ)を抽出し、RDAは複数の関連するテクスチャを利用してLR特徴のより多くの情報を補償し、RFAは最後にLR特徴と関連するテクスチャを集約し、より視覚的に快適な結果を得る。 大規模な実験により、我々のDATSRはベンチマークデータセットにおける最先端の性能を定量的に定性的に達成することを示した。

関連論文リスト

• Bridging the Domain Gap: A Simple Domain Matching Method for Reference-based Image Super-Resolution in Remote Sensing [8.36527949191506]
  近年、参照ベース画像超解像(RefSR)は、画像超解像(SR)タスクにおいて優れた性能を示している。 既存のRefSRモデルとシームレスに統合可能なドメインマッチング(DM)モジュールを導入する。 我々の分析では、これらの領域のギャップは異なる衛星でしばしば生じており、我々のモデルはこれらの課題に効果的に対処している。
  論文  参考訳（メタデータ） (2024-01-29T08:10:00Z)
• A Feature Reuse Framework with Texture-adaptive Aggregation for Reference-based Super-Resolution [29.57364804554312]
  参照ベース超解像(RefSR)は超解像の分野で大きな成功を収めている。 本稿では,ステップバイステップのテクスチャ再構築プロセスをガイドする機能再利用フレームワークを提案する。 単一画像特徴埋め込みモジュールとテクスチャ適応アグリゲーションモジュールを導入する。
  論文  参考訳（メタデータ） (2023-06-02T12:49:22Z)
• Reference-based Image and Video Super-Resolution via C2-Matching [100.0808130445653]
  本稿では,C2-Matchingを提案する。 C2-Matchingは、標準的なCUFED5ベンチマークにおいて、最先端のアーツを著しく上回っている。 また、類似シーンで撮影された画像がHR参照画像として機能するため、C2-Matchingを参照ベースでビデオスーパーリゾリューションタスクに拡張する。
  論文  参考訳（メタデータ） (2022-12-19T16:15:02Z)
• RRSR:Reciprocal Reference-based Image Super-Resolution with Progressive Feature Alignment and Selection [66.08293086254851]
  本稿では,RefSRネットワークの学習を強化するための相互学習フレームワークを提案する。 新たに提案したモジュールは,マルチスケールの特徴空間に参照入力画像をアライメントし,参照認識機能の選択を行う。 我々は,最近のRefSRモデルが相互学習パラダイムによって一貫した改善が可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2022-11-08T12:39:35Z)
• RZSR: Reference-based Zero-Shot Super-Resolution with Depth Guided Self-Exemplars [20.771851470271777]
  低分解能(LR)画像から高分解能(HR)画像を生成する上で,SISRは優れた性能を示した。 参照ベースゼロショットSR(RZSR)と呼ばれる統合解を提案する。
  論文  参考訳（メタデータ） (2022-08-24T05:48:17Z)
• MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution [74.24676600271253]
  本稿では、RefSRのためのMASAネットワークを提案し、これらの問題に対処するために2つの新しいモジュールを設計する。 提案したMatch & extract Moduleは、粗大な対応マッチング方式により計算コストを大幅に削減する。 空間適応モジュールは、LR画像とRef画像の分布の差を学習し、Ref特徴の分布を空間適応的にLR特徴の分布に再マップする。
  論文  参考訳（メタデータ） (2021-06-04T07:15:32Z)
• Robust Reference-based Super-Resolution via C2-Matching [77.51610726936657]
  超解像(Ref-SR)は、最近、高分解能(HR)参照画像を導入して、低分解能(LR)入力画像を強化するための有望なパラダイムとして登場した。 既存のRef-SR法は主に暗黙の対応に頼り、参照画像からHRテクスチャを借用し、入力画像の情報損失を補う。 本稿では,C2-Matchingを提案する。
  論文  参考訳（メタデータ） (2021-06-03T16:40:36Z)
• Learning Texture Transformer Network for Image Super-Resolution [47.86443447491344]
  画像超解像のためのテクスチュアトランスフォーマネットワーク(TTSR)を提案する。 TTSRは画像生成タスクに最適化された4つの近縁なモジュールで構成されている。 TTSRは、定量評価と定性評価の両方において最先端のアプローチよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-06-07T12:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。