論文の概要: Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations

• arxiv url: http://arxiv.org/abs/2405.02171v1
• Date: Fri, 3 May 2024 15:20:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 12:26:23.822232
• Title: Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations
• Title（参考訳）: デュアル・マルチズーム観察による実世界の超解像の自己教師付き学習
• Authors: Zhilu Zhang, Ruohao Wang, Hongzhi Zhang, Wangmeng Zuo,
• Abstract要約: スマートフォン用レファレンスベーススーパーレゾリューション(RefSR)における2つの課題について考察する。 本稿では,デュアルカメラとマルチカメラのズームで観測した実世界のRefSRに対して,新たな自己教師型学習手法を提案する。
• 参考スコア（独自算出の注目度）: 61.448005005426666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider two challenging issues in reference-based super-resolution (RefSR) for smartphone, (i) how to choose a proper reference image, and (ii) how to learn RefSR in a self-supervised manner. Particularly, we propose a novel self-supervised learning approach for real-world RefSR from observations at dual and multiple camera zooms. Firstly, considering the popularity of multiple cameras in modern smartphones, the more zoomed (telephoto) image can be naturally leveraged as the reference to guide the super-resolution (SR) of the lesser zoomed (ultra-wide) image, which gives us a chance to learn a deep network that performs SR from the dual zoomed observations (DZSR). Secondly, for self-supervised learning of DZSR, we take the telephoto image instead of an additional high-resolution image as the supervision information, and select a center patch from it as the reference to super-resolve the corresponding ultra-wide image patch. To mitigate the effect of the misalignment between ultra-wide low-resolution (LR) patch and telephoto ground-truth (GT) image during training, we first adopt patch-based optical flow alignment and then design an auxiliary-LR to guide the deforming of the warped LR features. To generate visually pleasing results, we present local overlapped sliced Wasserstein loss to better represent the perceptual difference between GT and output in the feature space. During testing, DZSR can be directly deployed to super-solve the whole ultra-wide image with the reference of the telephoto image. In addition, we further take multiple zoomed observations to explore self-supervised RefSR, and present a progressive fusion scheme for the effective utilization of reference images. Experiments show that our methods achieve better quantitative and qualitative performance against state-of-the-arts. Codes are available at https://github.com/cszhilu1998/SelfDZSR_PlusPlus.
• Abstract（参考訳）: 本稿では,スマートフォン用レファレンスベーススーパーレゾリューション(RefSR)における2つの課題について考察する。 (i)適切な参照画像の選択方法、及び (II)自己指導型でRefSRを学習する方法。 特に,デュアルカメラとマルチカメラのズームで観測した実世界のRefSRに対して,新たな自己教師型学習手法を提案する。 第一に、現代のスマートフォンにおける複数のカメラの人気を考えると、よりズームされた(テレフォト)画像は、より解像度の低い(超広角)画像の超解像(SR)を導く基準として自然に活用することができ、デュアルズームされた観察(DZSR)からSRを実行するディープネットワークを学習する機会を与える。 第2に、DZSRの自己教師付き学習において、追加の高解像度画像の代わりに望遠像を監督情報とし、対応する超広帯域画像パッチの超解像への参照として中心パッチを選択する。 トレーニング中の超広視野低解像度(LR)パッチと望遠低解像度(GT)イメージとの相違を緩和するために、まず、パッチベースの光フローアライメントを採用し、次に、乱れたLR特徴の変形を誘導する補助LRを設計する。 視覚的に満足する結果を得るために,特徴空間におけるGTと出力の知覚的差異をよりよく表すために,局所的に重なり合ったワッサースタイン損失を示す。 テスト中は、DZSRを直接展開して、テレフォト画像を参照して超広視野画像を超解き放つことができる。 さらに、複数のズームされた観察を行い、自己監督型RefSRを探索し、参照画像の有効利用のためのプログレッシブ融合方式を提案する。 実験により,本手法は最先端技術に対する定量的,定性的な性能を向上することが示された。 コードはhttps://github.com/cszhilu1998/SelfDZSR_PlusPlusで公開されている。

関連論文リスト

• ClearSR: Latent Low-Resolution Image Embeddings Help Diffusion-Based Real-World Super Resolution Models See Clearer [68.72454974431749]
  本稿では、拡散に基づく実世界の超解像(Real-ISR)に対する潜在低分解能画像(LR)埋め込みの利点を活かす新しい手法であるClearSRを提案する。 提案モデルでは,複数のテストセット上で複数の測定値にまたがる性能が向上し,既存の手法よりもLR画像でより一貫したSR結果が得られる。
  論文  参考訳（メタデータ） (2024-10-18T08:35:57Z)
• Better "CMOS" Produces Clearer Images: Learning Space-Variant Blur Estimation for Blind Image Super-Resolution [30.816546273417774]
  我々は、空のぼかしを持つ2つの新しいデータセット、すなわちNYUv2-BSRとCityscapes-BSRを導入する。 データセットに基づいて,ブラーとセマンティクスを同時に推定するクロスモーダルファシオンネットワーク(CMOS)を設計する。
  論文  参考訳（メタデータ） (2023-04-07T08:40:31Z)
• Reference-based Image and Video Super-Resolution via C2-Matching [100.0808130445653]
  本稿では,C2-Matchingを提案する。 C2-Matchingは、標準的なCUFED5ベンチマークにおいて、最先端のアーツを著しく上回っている。 また、類似シーンで撮影された画像がHR参照画像として機能するため、C2-Matchingを参照ベースでビデオスーパーリゾリューションタスクに拡張する。
  論文  参考訳（メタデータ） (2022-12-19T16:15:02Z)
• Self-Supervised Learning for Real-World Super-Resolution from Dual Zoomed Observations [66.09210030518686]
  デュアルカメラズーム(SelfDZSR)で観測した実世界のRefSRに対する新しい自己教師型学習手法を提案する。 最初の問題として、よりズームされた(望遠的な)画像は、より少ないズームされた(短焦点)画像のSRをガイドする参照として自然に利用することができる。 2つ目の問題として、セルフDZSRは、短焦点画像のSR結果を得るための深層ネットワークを、望遠画像と同じ解像度で学習する。
  論文  参考訳（メタデータ） (2022-03-02T13:30:56Z)
• Dual-Camera Super-Resolution with Aligned Attention Modules [56.54073689003269]
  デュアルカメラ・スーパーレゾリューション(DCSR)に着目したレファレンスベース・スーパーレゾリューション(RefSR)への新しいアプローチを提案する。 提案手法は,空間アライメント操作と標準パッチベースの特徴マッチングを一般化する。 実世界の画像とトレーニング画像の領域ギャップを埋めるために,自己監督型領域適応戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-03T07:17:31Z)
• Joint Generative Learning and Super-Resolution For Real-World Camera-Screen Degradation [6.14297871633911]
  現実世界の単一画像超解像(SISR)タスクでは、低解像度画像はより複雑な劣化に苦しむ。 本稿では,カメラ画面の劣化に着目し,実世界のデータセット(Cam-ScreenSR)を構築する。 まず、ダウンサンプリング劣化GAN(DD-GAN)をトレーニングし、その分解をモデル化し、より多様なLR画像を生成する。 そして、二重残差チャネルアテンションネットワーク(DuRCAN)がSR画像の復元を学習する。
  論文  参考訳（メタデータ） (2020-08-01T07:10:13Z)
• HighRes-net: Recursive Fusion for Multi-Frame Super-Resolution of Satellite Imagery [55.253395881190436]
  MFSR(Multi-frame Super-Resolution)は、問題に対するより根底的なアプローチを提供する。 これは、地球上の人間の影響を衛星で観測する上で重要である。 我々は,MFSRにおける最初のディープラーニングアプローチであるHighRes-netを紹介し,そのサブタスクをエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2020-02-15T22:17:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。