論文の概要: Self-Supervised Learning for Real-World Super-Resolution from Dual
Zoomed Observations
- arxiv url: http://arxiv.org/abs/2203.01325v1
- Date: Wed, 2 Mar 2022 13:30:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 16:01:05.015757
- Title: Self-Supervised Learning for Real-World Super-Resolution from Dual
Zoomed Observations
- Title(参考訳): デュアルズームによる実世界超解法の自己監督学習
- Authors: Zhilu Zhang, Ruohao Wang, Hongzhi Zhang, Yunjin Chen, Wangmeng Zuo
- Abstract要約: デュアルカメラズーム(SelfDZSR)で観測した実世界のRefSRに対する新しい自己教師型学習手法を提案する。
最初の問題として、よりズームされた(望遠的な)画像は、より少ないズームされた(短焦点)画像のSRをガイドする参照として自然に利用することができる。
2つ目の問題として、セルフDZSRは、短焦点画像のSR結果を得るための深層ネットワークを、望遠画像と同じ解像度で学習する。
- 参考スコア(独自算出の注目度): 66.09210030518686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we consider two challenging issues in reference-based
super-resolution (RefSR), (i) how to choose a proper reference image, and (ii)
how to learn real-world RefSR in a self-supervised manner. Particularly, we
present a novel self-supervised learning approach for real-world image SR from
observations at dual camera zooms (SelfDZSR). For the first issue, the more
zoomed (telephoto) image can be naturally leveraged as the reference to guide
the SR of the lesser zoomed (short-focus) image. For the second issue, SelfDZSR
learns a deep network to obtain the SR result of short-focal image and with the
same resolution as the telephoto image. For this purpose, we take the telephoto
image instead of an additional high-resolution image as the supervision
information and select a patch from it as the reference to super-resolve the
corresponding short-focus image patch. To mitigate the effect of various
misalignment between the short-focus low-resolution (LR) image and telephoto
ground-truth (GT) image, we design a degradation model and map the GT to a
pseudo-LR image aligned with GT. Then the pseudo-LR and LR image can be fed
into the proposed adaptive spatial transformer networks (AdaSTN) to deform the
LR features. During testing, SelfDZSR can be directly deployed to super-solve
the whole short-focus image with the reference of telephoto image. Experiments
show that our method achieves better quantitative and qualitative performance
against state-of-the-arts. The code and pre-trained models will be publicly
available.
- Abstract(参考訳): 本稿では、参照ベース超解像(RefSR)における2つの課題について考察する。
(i)適切な参照画像の選択方法、及び
(ii)自己監督による実世界のrefsrの学習方法
特に,デュアルカメラズーム(SelfDZSR)における観測結果から,実世界の画像SRに対する自己教師型学習手法を提案する。
最初の問題として、よりズームされた(望遠的な)画像は、より少ないズームされた(短焦点)画像のSRをガイドする参照として自然に利用することができる。
2つ目の問題として、セルフDZSRは、短焦点画像のSR結果を得るための深層ネットワークを、望遠画像と同じ解像度で学習する。
この目的のために、追加の高解像度画像の代わりに望遠画像を監視情報とし、対応する短焦点画像パッチの超解像への参照としてパッチを選択する。
短焦点低分解能(LR)画像と望遠低分解能(GT)画像との様々な不一致の影響を軽減するため,劣化モデルの設計とGTをGTと整合した擬似LR画像にマッピングする。
次に、擬似LRおよびLR画像を、提案した適応空間変換器ネットワーク(AdaSTN)に入力してLR特徴を変形させる。
テスト中、SelfDZSRは、望遠画像を参照して、全短焦点画像を超解き明かすために直接デプロイすることができる。
実験により, 最先端技術に対する定量的, 質的性能が向上した。
コードと事前訓練されたモデルは一般公開される。
関連論文リスト
- Learning Many-to-Many Mapping for Unpaired Real-World Image
Super-resolution and Downscaling [60.80788144261183]
実世界のLR画像とHR画像の双方向多対多マッピングを教師なしで同時に学習するSDFlowと呼ばれる画像ダウンスケーリングとSRモデルを提案する。
実世界の画像SRデータセットによる実験結果から,SDFlowは定量的かつ定性的に,多様な現実的なLRとSRの画像を生成可能であることが示唆された。
論文 参考訳(メタデータ) (2023-10-08T01:48:34Z) - Dual-Camera Super-Resolution with Aligned Attention Modules [56.54073689003269]
デュアルカメラ・スーパーレゾリューション(DCSR)に着目したレファレンスベース・スーパーレゾリューション(RefSR)への新しいアプローチを提案する。
提案手法は,空間アライメント操作と標準パッチベースの特徴マッチングを一般化する。
実世界の画像とトレーニング画像の領域ギャップを埋めるために,自己監督型領域適応戦略を提案する。
論文 参考訳(メタデータ) (2021-09-03T07:17:31Z) - Joint Generative Learning and Super-Resolution For Real-World
Camera-Screen Degradation [6.14297871633911]
現実世界の単一画像超解像(SISR)タスクでは、低解像度画像はより複雑な劣化に苦しむ。
本稿では,カメラ画面の劣化に着目し,実世界のデータセット(Cam-ScreenSR)を構築する。
まず、ダウンサンプリング劣化GAN(DD-GAN)をトレーニングし、その分解をモデル化し、より多様なLR画像を生成する。
そして、二重残差チャネルアテンションネットワーク(DuRCAN)がSR画像の復元を学習する。
論文 参考訳(メタデータ) (2020-08-01T07:10:13Z) - Benefiting from Bicubically Down-Sampled Images for Learning Real-World
Image Super-Resolution [22.339751911637077]
我々は、この不適切な問題を2つの比較的よく提示されたステップに分割することで、現実世界のSRを扱うことを提案する。
まず、実LR画像を教師付きで双対的にダウンサンプリングされた画像の空間に変換するネットワークを訓練する。
次に,2次元ダウンサンプル画像に基づいて学習した汎用SRネットワークを用いて,変換されたLR画像の超解像を行う。
論文 参考訳(メタデータ) (2020-07-06T20:27:58Z) - Closed-loop Matters: Dual Regression Networks for Single Image
Super-Resolution [73.86924594746884]
ディープニューラルネットワークは、画像超解像において有望な性能を示した。
これらのネットワークは、低分解能(LR)画像から高分解能(HR)画像への非線形マッピング関数を学習する。
本稿では,可能な関数の空間を削減するために,LRデータに新たな制約を導入することで,二重回帰手法を提案する。
論文 参考訳(メタデータ) (2020-03-16T04:23:42Z) - DDet: Dual-path Dynamic Enhancement Network for Real-World Image
Super-Resolution [69.2432352477966]
実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。
本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。
特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
論文 参考訳(メタデータ) (2020-02-25T18:24:51Z) - Learning to Zoom-in via Learning to Zoom-out: Real-world
Super-resolution by Generating and Adapting Degradation [91.40265983636839]
本稿では,SR を任意の LR と HR 画像から学習するためのフレームワークを提案する。
我々は、劣化適応SRネットワークを学習しながら、生成されたデータと実データとの差を最小限にする。
提案手法は,ペア学習法をより好むデータセットであっても,実世界の画像上での最先端のSR結果を実現する。
論文 参考訳(メタデータ) (2020-01-08T05:17:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。