論文の概要: ClearSR: Latent Low-Resolution Image Embeddings Help Diffusion-Based Real-World Super Resolution Models See Clearer

• arxiv url: http://arxiv.org/abs/2410.14279v1
• Date: Fri, 18 Oct 2024 08:35:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:25:15.139063
• Title: ClearSR: Latent Low-Resolution Image Embeddings Help Diffusion-Based Real-World Super Resolution Models See Clearer
• Title（参考訳）: ClearSR: 拡散に基づく現実の超解像モデルでより鮮明になる低解像度画像埋め込み
• Authors: Yuhao Wan, Peng-Tao Jiang, Qibin Hou, Hao Zhang, Jinwei Chen, Ming-Ming Cheng, Bo Li,
• Abstract要約: 本稿では、拡散に基づく実世界の超解像(Real-ISR)に対する潜在低分解能画像(LR)埋め込みの利点を活かす新しい手法であるClearSRを提案する。 提案モデルでは,複数のテストセット上で複数の測定値にまたがる性能が向上し,既存の手法よりもLR画像でより一貫したSR結果が得られる。
• 参考スコア（独自算出の注目度）: 68.72454974431749
• License:
• Abstract: We present ClearSR, a new method that can better take advantage of latent low-resolution image (LR) embeddings for diffusion-based real-world image super-resolution (Real-ISR). Previous Real-ISR models mostly focus on how to activate more generative priors of text-to-image diffusion models to make the output high-resolution (HR) images look better. However, since these methods rely too much on the generative priors, the content of the output images is often inconsistent with the input LR ones. To mitigate the above issue, in this work, we explore using latent LR embeddings to constrain the control signals from ControlNet, and extract LR information at both detail and structure levels. We show that the proper use of latent LR embeddings can produce higher-quality control signals, which enables the super-resolution results to be more consistent with the LR image and leads to clearer visual results. In addition, we also show that latent LR embeddings can be used to control the inference stage, allowing for the improvement of fidelity and generation ability simultaneously. Experiments demonstrate that our model can achieve better performance across multiple metrics on several test sets and generate more consistent SR results with LR images than existing methods. Our code will be made publicly available.
• Abstract（参考訳）: 本稿では、拡散に基づく実世界の超解像(Real-ISR)に対して、潜在低分解能画像(LR)埋め込みをよりうまく活用できる新しい手法であるClearSRを提案する。 従来のReal-ISRモデルは、出力高解像度(HR)画像がより良く見えるように、テキストと画像の拡散モデルのより生成的な先行を活性化する方法に主に焦点を当てている。 しかし、これらの手法は生成先行に大きく依存しているため、出力画像の内容は入力LRと矛盾することが多い。 本研究では,制御ネットからの制御信号の制約に潜在LR埋め込みを用い,詳細・構造レベルのLR情報を抽出する。 LR埋め込みの適切な使用により、高画質な制御信号が生成され、超解像がLR画像とより整合し、より鮮明な視覚結果が得られることを示す。 さらに,潜在LR埋め込みを用いて推論ステージを制御し,忠実度と生成能力を同時に向上できることを示す。 実験により,本モデルでは,複数のテストセット上で複数の測定値にまたがる性能が向上し,既存の手法よりもLR画像でより一貫したSR結果が得られることが示された。 私たちのコードは公開されます。

関連論文リスト

• Low-Res Leads the Way: Improving Generalization for Super-Resolution by Self-Supervised Learning [45.13580581290495]
  本研究は,SRモデルの現実の画像への適応性を高めるために,新しい"Low-Res Leads the Way"(LWay)トレーニングフレームワークを導入する。 提案手法では,低分解能(LR)再構成ネットワークを用いて,LR画像から劣化埋め込みを抽出し,LR再構成のための超解出力とマージする。 私たちのトレーニング体制は普遍的に互換性があり、ネットワークアーキテクチャの変更は不要です。
  論文  参考訳（メタデータ） (2024-03-05T02:29:18Z)
• ICF-SRSR: Invertible scale-Conditional Function for Self-Supervised Real-world Single Image Super-Resolution [60.90817228730133]
  単一画像超解像(SISR)は、与えられた低解像度(LR)画像を高解像度(HR)にアップサンプリングすることを目的とした課題である。 近年のアプローチは、単純化されたダウンサンプリング演算子によって劣化したシミュレーションLR画像に基づいて訓練されている。 Invertible Scale-Conditional Function (ICF) を提案する。これは入力画像をスケールし、異なるスケール条件で元の入力を復元する。
  論文  参考訳（メタデータ） (2023-07-24T12:42:45Z)
• RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution [57.98314517861539]
  バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。 本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:14:13Z)
• Real Image Super-Resolution using GAN through modeling of LR and HR process [20.537597542144916]
  LRモデルとSRモデルに組み込んだ学習可能な適応正弦波非線形性を提案し,分解分布を直接学習する。 定量的および定性的な実験において提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T09:23:37Z)
• Self-Supervised Learning for Real-World Super-Resolution from Dual Zoomed Observations [66.09210030518686]
  デュアルカメラズーム(SelfDZSR)で観測した実世界のRefSRに対する新しい自己教師型学習手法を提案する。 最初の問題として、よりズームされた(望遠的な)画像は、より少ないズームされた(短焦点)画像のSRをガイドする参照として自然に利用することができる。 2つ目の問題として、セルフDZSRは、短焦点画像のSR結果を得るための深層ネットワークを、望遠画像と同じ解像度で学習する。
  論文  参考訳（メタデータ） (2022-03-02T13:30:56Z)
• A Deep Residual Star Generative Adversarial Network for multi-domain Image Super-Resolution [21.39772242119127]
  Super-Resolution Residual StarGAN (SR2*GAN) は、単一のモデルのみを用いて複数のLRドメインのLR画像を超解する、新しくスケーラブルなアプローチである。 提案手法は,他の最先端手法と比較して定量的,定性的実験において有効であることを示す。
  論文  参考訳（メタデータ） (2021-07-07T11:15:17Z)
• Best-Buddy GANs for Highly Detailed Image Super-Resolution [71.13466303340192]
  我々は,低分解能(LR)入力に基づいて高分解能(HR)画像を生成する単一画像超解像(SISR)問題を考える。 このラインに沿ったほとんどのメソッドは、SISRタスクに十分な柔軟性がない、事前定義されたシングルLRシングルHRマッピングに依存しています。 リッチディテールSISRのためのベストバディGAN(Beby-GAN)を提案する。 イミュータブルな1対1の制約を緩和することで、推定されたパッチを動的に最高の監視を求めることができる。
  論文  参考訳（メタデータ） (2021-03-29T02:58:27Z)
• Real-World Super-Resolution of Face-Images from Surveillance Cameras [25.258587196435464]
  本稿では,現実的なLR/HRトレーニングペアを生成するための新しいフレームワークを提案する。 本フレームワークは、実写のぼやけたカーネル、ノイズ分布、JPEG圧縮アーチファクトを推定し、ソース領域のものと類似した画像特性を持つLR画像を生成する。 我々はGANベースのSRモデルを用いて、よく使われるVGG-loss[24]とLPIPS-loss[52]を交換した。
  論文  参考訳（メタデータ） (2021-02-05T11:38:30Z)
• Deep Generative Adversarial Residual Convolutional Networks for Real-World Super-Resolution [31.934084942626257]
  我々は,超解像残差畳み込み生成共役ネットワーク(SRResCGAN)を提案する。 これは、生成したLRドメインからHRドメインの画素単位の監督でモデルを逆トレーニングすることで、現実世界の劣化設定に従う。 提案するネットワークは,画像の高精細化と凸最適化によるエネルギーベース目的関数の最小化により,残差学習を利用する。
  論文  参考訳（メタデータ） (2020-05-03T00:12:38Z)
• Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution [73.86924594746884]
  ディープニューラルネットワークは、画像超解像において有望な性能を示した。 これらのネットワークは、低分解能(LR)画像から高分解能(HR)画像への非線形マッピング関数を学習する。 本稿では,可能な関数の空間を削減するために,LRデータに新たな制約を導入することで,二重回帰手法を提案する。
  論文  参考訳（メタデータ） (2020-03-16T04:23:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。