論文の概要: KeDuSR: Real-World Dual-Lens Super-Resolution via Kernel-Free Matching

• arxiv url: http://arxiv.org/abs/2312.17050v2
• Date: Tue, 2 Jan 2024 17:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 19:16:17.632995
• Title: KeDuSR: Real-World Dual-Lens Super-Resolution via Kernel-Free Matching
• Title（参考訳）: KeDuSR:カーネルフリーマッチングによる現実のデュアルレンズスーパーリゾリューション
• Authors: Huanjing Yue, Zifan Cui, Kun Li, Jingyu Yang
• Abstract要約: デュアルレンズ超解像(英: Dual-lens Super- resolution, SR)は、低解像度広角画像(LR入力)の超解像を支援するために望遠画像(Ref)を利用する、参照(Ref)ベースのSRの実践シナリオである。 本稿では、LRコーナ(クエリ)とLR中心(キー)領域のマッチングによるカーネルフリーマッチング戦略を提案し、対応するRef(値)をターゲットのコーナー領域にワープする。 我々のカーネルフリーマッチング戦略は、LRとRefの解像度ギャップを回避し、ネットワークの一般化能力を向上する。
• 参考スコア（独自算出の注目度）: 16.716593426301312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dual-lens super-resolution (SR) is a practical scenario for reference (Ref) based SR by utilizing the telephoto image (Ref) to assist the super-resolution of the low-resolution wide-angle image (LR input). Different from general RefSR, the Ref in dual-lens SR only covers the overlapped field of view (FoV) area. However, current dual-lens SR methods rarely utilize these specific characteristics and directly perform dense matching between the LR input and Ref. Due to the resolution gap between LR and Ref, the matching may miss the best-matched candidate and destroy the consistent structures in the overlapped FoV area. Different from them, we propose to first align the Ref with the center region (namely the overlapped FoV area) of the LR input by combining global warping and local warping to make the aligned Ref be sharp and consistent. Then, we formulate the aligned Ref and LR center as value-key pairs, and the corner region of the LR is formulated as queries. In this way, we propose a kernel-free matching strategy by matching between the LR-corner (query) and LR-center (key) regions, and the corresponding aligned Ref (value) can be warped to the corner region of the target. Our kernel-free matching strategy avoids the resolution gap between LR and Ref, which makes our network have better generalization ability. In addition, we construct a DuSR-Real dataset with (LR, Ref, HR) triples, where the LR and HR are well aligned. Experiments on three datasets demonstrate that our method outperforms the second-best method by a large margin. Our code and dataset are available at https://github.com/ZifanCui/KeDuSR.
• Abstract（参考訳）: デュアルレンズスーパーレゾリューション(sr)は、望遠画像(ref)を利用して低解像度広角画像(lr入力)の超レゾリューションを支援することで、参照(ref)ベースのsrの実用的なシナリオである。 一般的なRefSRとは異なり、二重レンズSRのRefは重なり合う視野(FoV)領域のみをカバーする。 しかし、現在の二重レンズSR法はこれらの特性をほとんど利用せず、LR入力とRefの密マッチングを直接行う。 LRとRefの解像度差のため、マッチングは最良整合候補を見逃し、重なり合うFoV領域における一貫した構造を破壊する可能性がある。 これらと異なるのは,まずrefをlr入力の中心領域(つまり重複したfov領域)にアライメントし,グローバルウォーピングと局所ウォーピングを組み合わせて,アライメントrefをシャープかつ一貫性を持たせることを提案する。 次に、アライメントされたRefとLR中心を値キーペアとして定式化し、LRのコーナー領域をクエリとして定式化する。 このようにして、LRコーナ(クエリ)とLR中心(キー)領域のマッチングによるカーネルフリーマッチング戦略を提案し、対応するRef(値)をターゲットのコーナー領域にワープする。 我々のカーネルフリーマッチング戦略は、LRとRefの解像度ギャップを回避し、ネットワークの一般化能力を向上する。 さらに,DuSR-Realデータセットを(LR,Ref,HR)トリプルで構築する。 3つのデータセットに対する実験により,本手法は2番目に良い手法よりも大きなマージンで優れていることが示された。 私たちのコードとデータセットはhttps://github.com/zifancui/kedusrで利用可能です。

関連論文リスト

• ClearSR: Latent Low-Resolution Image Embeddings Help Diffusion-Based Real-World Super Resolution Models See Clearer [68.72454974431749]
  本稿では、拡散に基づく実世界の超解像(Real-ISR)に対する潜在低分解能画像(LR)埋め込みの利点を活かす新しい手法であるClearSRを提案する。 提案モデルでは,複数のテストセット上で複数の測定値にまたがる性能が向上し,既存の手法よりもLR画像でより一貫したSR結果が得られる。
  論文  参考訳（メタデータ） (2024-10-18T08:35:57Z)
• RefVSR++: Exploiting Reference Inputs for Reference-based Video Super-resolution [29.52731707976695]
  本稿では,2つの特徴を時間方向に並列に集約するRefVSR++を提案する。 実験により、RefVSR++はPSNRにおいて1dB以上でRefVSRを上回る性能を示し、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2023-07-06T10:09:52Z)
• RZSR: Reference-based Zero-Shot Super-Resolution with Depth Guided Self-Exemplars [20.771851470271777]
  低分解能(LR)画像から高分解能(HR)画像を生成する上で,SISRは優れた性能を示した。 参照ベースゼロショットSR(RZSR)と呼ばれる統合解を提案する。
  論文  参考訳（メタデータ） (2022-08-24T05:48:17Z)
• Reference-based Image Super-Resolution with Deformable Attention Transformer [62.71769634254654]
  RefSRは、補助参照(Ref)画像を超解像低解像度(LR)画像に活用することを目的としている。 本稿では,複数のスケールを持つ変形可能なアテンション変換器,すなわちDATSRを提案する。 DATSRがベンチマークデータセット上で最先端のパフォーマンスを達成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-07-25T07:07:00Z)
• Self-Supervised Learning for Real-World Super-Resolution from Dual Zoomed Observations [66.09210030518686]
  デュアルカメラズーム(SelfDZSR)で観測した実世界のRefSRに対する新しい自己教師型学習手法を提案する。 最初の問題として、よりズームされた(望遠的な)画像は、より少ないズームされた(短焦点)画像のSRをガイドする参照として自然に利用することができる。 2つ目の問題として、セルフDZSRは、短焦点画像のSR結果を得るための深層ネットワークを、望遠画像と同じ解像度で学習する。
  論文  参考訳（メタデータ） (2022-03-02T13:30:56Z)
• A Deep Residual Star Generative Adversarial Network for multi-domain Image Super-Resolution [21.39772242119127]
  Super-Resolution Residual StarGAN (SR2*GAN) は、単一のモデルのみを用いて複数のLRドメインのLR画像を超解する、新しくスケーラブルなアプローチである。 提案手法は,他の最先端手法と比較して定量的,定性的実験において有効であることを示す。
  論文  参考訳（メタデータ） (2021-07-07T11:15:17Z)
• MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution [74.24676600271253]
  本稿では、RefSRのためのMASAネットワークを提案し、これらの問題に対処するために2つの新しいモジュールを設計する。 提案したMatch & extract Moduleは、粗大な対応マッチング方式により計算コストを大幅に削減する。 空間適応モジュールは、LR画像とRef画像の分布の差を学習し、Ref特徴の分布を空間適応的にLR特徴の分布に再マップする。
  論文  参考訳（メタデータ） (2021-06-04T07:15:32Z)
• Robust Reference-based Super-Resolution via C2-Matching [77.51610726936657]
  超解像(Ref-SR)は、最近、高分解能(HR)参照画像を導入して、低分解能(LR)入力画像を強化するための有望なパラダイムとして登場した。 既存のRef-SR法は主に暗黙の対応に頼り、参照画像からHRテクスチャを借用し、入力画像の情報損失を補う。 本稿では,C2-Matchingを提案する。
  論文  参考訳（メタデータ） (2021-06-03T16:40:36Z)
• Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution [73.86924594746884]
  ディープニューラルネットワークは、画像超解像において有望な性能を示した。 これらのネットワークは、低分解能(LR)画像から高分解能(HR)画像への非線形マッピング関数を学習する。 本稿では,可能な関数の空間を削減するために,LRデータに新たな制約を導入することで,二重回帰手法を提案する。
  論文  参考訳（メタデータ） (2020-03-16T04:23:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。