論文の概要: Self-Supervised Learning for Real-World Super-Resolution from Dual Zoomed Observations

• arxiv url: http://arxiv.org/abs/2203.01325v1
• Date: Wed, 2 Mar 2022 13:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 16:01:05.015757
• Title: Self-Supervised Learning for Real-World Super-Resolution from Dual Zoomed Observations
• Title（参考訳）: デュアルズームによる実世界超解法の自己監督学習
• Authors: Zhilu Zhang, Ruohao Wang, Hongzhi Zhang, Yunjin Chen, Wangmeng Zuo
• Abstract要約: デュアルカメラズーム(SelfDZSR)で観測した実世界のRefSRに対する新しい自己教師型学習手法を提案する。 最初の問題として、よりズームされた(望遠的な)画像は、より少ないズームされた(短焦点)画像のSRをガイドする参照として自然に利用することができる。 2つ目の問題として、セルフDZSRは、短焦点画像のSR結果を得るための深層ネットワークを、望遠画像と同じ解像度で学習する。
• 参考スコア（独自算出の注目度）: 66.09210030518686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider two challenging issues in reference-based super-resolution (RefSR), (i) how to choose a proper reference image, and (ii) how to learn real-world RefSR in a self-supervised manner. Particularly, we present a novel self-supervised learning approach for real-world image SR from observations at dual camera zooms (SelfDZSR). For the first issue, the more zoomed (telephoto) image can be naturally leveraged as the reference to guide the SR of the lesser zoomed (short-focus) image. For the second issue, SelfDZSR learns a deep network to obtain the SR result of short-focal image and with the same resolution as the telephoto image. For this purpose, we take the telephoto image instead of an additional high-resolution image as the supervision information and select a patch from it as the reference to super-resolve the corresponding short-focus image patch. To mitigate the effect of various misalignment between the short-focus low-resolution (LR) image and telephoto ground-truth (GT) image, we design a degradation model and map the GT to a pseudo-LR image aligned with GT. Then the pseudo-LR and LR image can be fed into the proposed adaptive spatial transformer networks (AdaSTN) to deform the LR features. During testing, SelfDZSR can be directly deployed to super-solve the whole short-focus image with the reference of telephoto image. Experiments show that our method achieves better quantitative and qualitative performance against state-of-the-arts. The code and pre-trained models will be publicly available.
• Abstract（参考訳）: 本稿では、参照ベース超解像(RefSR)における2つの課題について考察する。 (i)適切な参照画像の選択方法、及び (ii)自己監督による実世界のrefsrの学習方法 特に,デュアルカメラズーム(SelfDZSR)における観測結果から,実世界の画像SRに対する自己教師型学習手法を提案する。 最初の問題として、よりズームされた(望遠的な)画像は、より少ないズームされた(短焦点)画像のSRをガイドする参照として自然に利用することができる。 2つ目の問題として、セルフDZSRは、短焦点画像のSR結果を得るための深層ネットワークを、望遠画像と同じ解像度で学習する。 この目的のために、追加の高解像度画像の代わりに望遠画像を監視情報とし、対応する短焦点画像パッチの超解像への参照としてパッチを選択する。 短焦点低分解能(LR)画像と望遠低分解能(GT)画像との様々な不一致の影響を軽減するため,劣化モデルの設計とGTをGTと整合した擬似LR画像にマッピングする。 次に、擬似LRおよびLR画像を、提案した適応空間変換器ネットワーク(AdaSTN)に入力してLR特徴を変形させる。 テスト中、SelfDZSRは、望遠画像を参照して、全短焦点画像を超解き明かすために直接デプロイすることができる。 実験により, 最先端技術に対する定量的, 質的性能が向上した。 コードと事前訓練されたモデルは一般公開される。

関連論文リスト

• ClearSR: Latent Low-Resolution Image Embeddings Help Diffusion-Based Real-World Super Resolution Models See Clearer [68.72454974431749]
  本稿では、拡散に基づく実世界の超解像(Real-ISR)に対する潜在低分解能画像(LR)埋め込みの利点を活かす新しい手法であるClearSRを提案する。 提案モデルでは,複数のテストセット上で複数の測定値にまたがる性能が向上し,既存の手法よりもLR画像でより一貫したSR結果が得られる。
  論文  参考訳（メタデータ） (2024-10-18T08:35:57Z)
• Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations [61.448005005426666]
  スマートフォン用レファレンスベーススーパーレゾリューション(RefSR)における2つの課題について考察する。 本稿では,デュアルカメラとマルチカメラのズームで観測した実世界のRefSRに対して,新たな自己教師型学習手法を提案する。
  論文  参考訳（メタデータ） (2024-05-03T15:20:30Z)
• Dual-Camera Super-Resolution with Aligned Attention Modules [56.54073689003269]
  デュアルカメラ・スーパーレゾリューション(DCSR)に着目したレファレンスベース・スーパーレゾリューション(RefSR)への新しいアプローチを提案する。 提案手法は,空間アライメント操作と標準パッチベースの特徴マッチングを一般化する。 実世界の画像とトレーニング画像の領域ギャップを埋めるために,自己監督型領域適応戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-03T07:17:31Z)
• Benefiting from Bicubically Down-Sampled Images for Learning Real-World Image Super-Resolution [22.339751911637077]
  我々は、この不適切な問題を2つの比較的よく提示されたステップに分割することで、現実世界のSRを扱うことを提案する。 まず、実LR画像を教師付きで双対的にダウンサンプリングされた画像の空間に変換するネットワークを訓練する。 次に,2次元ダウンサンプル画像に基づいて学習した汎用SRネットワークを用いて,変換されたLR画像の超解像を行う。
  論文  参考訳（メタデータ） (2020-07-06T20:27:58Z)
• Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution [73.86924594746884]
  ディープニューラルネットワークは、画像超解像において有望な性能を示した。 これらのネットワークは、低分解能(LR)画像から高分解能(HR)画像への非線形マッピング関数を学習する。 本稿では,可能な関数の空間を削減するために,LRデータに新たな制約を導入することで,二重回帰手法を提案する。
  論文  参考訳（メタデータ） (2020-03-16T04:23:42Z)
• Learning to Zoom-in via Learning to Zoom-out: Real-world Super-resolution by Generating and Adapting Degradation [91.40265983636839]
  本稿では,SR を任意の LR と HR 画像から学習するためのフレームワークを提案する。 我々は、劣化適応SRネットワークを学習しながら、生成されたデータと実データとの差を最小限にする。 提案手法は,ペア学習法をより好むデータセットであっても,実世界の画像上での最先端のSR結果を実現する。
  論文  参考訳（メタデータ） (2020-01-08T05:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。