論文の概要: Reference-based Image and Video Super-Resolution via C2-Matching

• arxiv url: http://arxiv.org/abs/2212.09581v2
• Date: Sun, 19 Mar 2023 13:54:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 01:01:08.886331
• Title: Reference-based Image and Video Super-Resolution via C2-Matching
• Title（参考訳）: C2マッチングによる参照型画像とビデオ超解像
• Authors: Yuming Jiang, Kelvin C.K. Chan, Xintao Wang, Chen Change Loy, Ziwei Liu
• Abstract要約: 本稿では,C2-Matchingを提案する。 C2-Matchingは、標準的なCUFED5ベンチマークにおいて、最先端のアーツを著しく上回っている。 また、類似シーンで撮影された画像がHR参照画像として機能するため、C2-Matchingを参照ベースでビデオスーパーリゾリューションタスクに拡張する。
• 参考スコア（独自算出の注目度）: 100.0808130445653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reference-based Super-Resolution (Ref-SR) has recently emerged as a promising paradigm to enhance a low-resolution (LR) input image or video by introducing an additional high-resolution (HR) reference image. Existing Ref-SR methods mostly rely on implicit correspondence matching to borrow HR textures from reference images to compensate for the information loss in input images. However, performing local transfer is difficult because of two gaps between input and reference images: the transformation gap (e.g., scale and rotation) and the resolution gap (e.g., HR and LR). To tackle these challenges, we propose C2-Matching in this work, which performs explicit robust matching crossing transformation and resolution. 1) To bridge the transformation gap, we propose a contrastive correspondence network, which learns transformation-robust correspondences using augmented views of the input image. 2) To address the resolution gap, we adopt teacher-student correlation distillation, which distills knowledge from the easier HR-HR matching to guide the more ambiguous LR-HR matching. 3) Finally, we design a dynamic aggregation module to address the potential misalignment issue between input images and reference images. In addition, to faithfully evaluate the performance of Reference-based Image Super-Resolution under a realistic setting, we contribute the Webly-Referenced SR (WR-SR) dataset, mimicking the practical usage scenario. We also extend C2-Matching to Reference-based Video Super-Resolution task, where an image taken in a similar scene serves as the HR reference image. Extensive experiments demonstrate that our proposed C2-Matching significantly outperforms state of the arts on the standard CUFED5 benchmark and also boosts the performance of video SR by incorporating the C2-Matching component into Video SR pipelines.
• Abstract（参考訳）: 参照型スーパーリゾリューション(Ref-SR)は、最近、高解像度(HR)参照画像を導入して、低解像度(LR)入力画像やビデオを強化するための有望なパラダイムとして登場した。 既存のRef-SR法は主に暗黙の対応に頼り、参照画像からHRテクスチャを借用し、入力画像の情報損失を補う。 しかし、入力画像と参照画像の間には、変換ギャップ(例えば、スケールと回転)と分解能ギャップ(例えば、HRとLR)という2つのギャップがあるため、局所移動の実行は困難である。 これらの課題に対処するため,我々はC2-Matchingを提案する。 1) 変換ギャップを埋めるために, 入力画像の強調ビューを用いて変換-ロバスト対応を学習するコントラスト対応ネットワークを提案する。 2) 解答ギャップに対処するために, より容易なHR-HRマッチングから知識を抽出し, より曖昧なLR-HRマッチングを導出する教師-学生相関蒸留を採用する。 3)最後に,入力画像と参照画像間の潜在的な不一致問題に対処する動的集約モジュールを設計する。 また,実環境下での参照ベース画像の超解像性能を忠実に評価するために,実用シナリオを模倣したwebly referenced sr(wr-sr)データセットを提案する。 また、類似シーンで撮影された画像がHR参照画像として機能するため、C2-Matchingを参照ベースビデオスーパーソリューションタスクに拡張する。 広範な実験により,提案するc2マッチングは,標準cufed5ベンチマークのartsを著しく上回り,ビデオsrパイプラインにc2マッチングコンポーネントを組み込むことにより,ビデオsrのパフォーマンスを向上させた。

関連論文リスト

• Reference-based Image Super-Resolution with Deformable Attention Transformer [62.71769634254654]
  RefSRは、補助参照(Ref)画像を超解像低解像度(LR)画像に活用することを目的としている。 本稿では,複数のスケールを持つ変形可能なアテンション変換器,すなわちDATSRを提案する。 DATSRがベンチマークデータセット上で最先端のパフォーマンスを達成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-07-25T07:07:00Z)
• Learning Resolution-Adaptive Representations for Cross-Resolution Person Re-Identification [49.57112924976762]
  低解像度(LR)クエリIDイメージと高解像度(HR)ギャラリーイメージとの整合性を実現する。 実際のカメラとの違いにより、クエリ画像が分解能の低下に悩まされることがしばしばあるため、これは困難かつ実用的な問題である。 本稿では,問合せ画像の解像度に適応する動的計量を用いて,HRとLRの画像を直接比較するためのSRフリーなパラダイムについて検討する。
  論文  参考訳（メタデータ） (2022-07-09T03:49:51Z)
• MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution [74.24676600271253]
  本稿では、RefSRのためのMASAネットワークを提案し、これらの問題に対処するために2つの新しいモジュールを設計する。 提案したMatch & extract Moduleは、粗大な対応マッチング方式により計算コストを大幅に削減する。 空間適応モジュールは、LR画像とRef画像の分布の差を学習し、Ref特徴の分布を空間適応的にLR特徴の分布に再マップする。
  論文  参考訳（メタデータ） (2021-06-04T07:15:32Z)
• Robust Reference-based Super-Resolution via C2-Matching [77.51610726936657]
  超解像(Ref-SR)は、最近、高分解能(HR)参照画像を導入して、低分解能(LR)入力画像を強化するための有望なパラダイムとして登場した。 既存のRef-SR法は主に暗黙の対応に頼り、参照画像からHRテクスチャを借用し、入力画像の情報損失を補う。 本稿では,C2-Matchingを提案する。
  論文  参考訳（メタデータ） (2021-06-03T16:40:36Z)
• DDet: Dual-path Dynamic Enhancement Network for Real-World Image Super-Resolution [69.2432352477966]
  実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。 本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。 特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
  論文  参考訳（メタデータ） (2020-02-25T18:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。