論文の概要: DeeDSR: Towards Real-World Image Super-Resolution via Degradation-Aware Stable Diffusion

• arxiv url: http://arxiv.org/abs/2404.00661v1
• Date: Sun, 31 Mar 2024 12:07:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 02:30:41.706487
• Title: DeeDSR: Towards Real-World Image Super-Resolution via Degradation-Aware Stable Diffusion
• Title（参考訳）: DeeDSR: 劣化を意識した安定拡散による実世界の超解像を目指して
• Authors: Chunyang Bi, Xin Luo, Sheng Shen, Mengxi Zhang, Huanjing Yue, Jingyu Yang,
• Abstract要約: 低解像度画像のコンテンツや劣化を認識する拡散モデルの能力を高める新しい2段階の劣化認識フレームワークを提案する。 最初の段階では、教師なしのコントラスト学習を用いて画像劣化の表現を得る。 第2段階では、分解対応モジュールを単純化されたControlNetに統合し、様々な劣化への柔軟な適応を可能にします。
• 参考スコア（独自算出の注目度）: 27.52552274944687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models, known for their powerful generative capabilities, play a crucial role in addressing real-world super-resolution challenges. However, these models often focus on improving local textures while neglecting the impacts of global degradation, which can significantly reduce semantic fidelity and lead to inaccurate reconstructions and suboptimal super-resolution performance. To address this issue, we introduce a novel two-stage, degradation-aware framework that enhances the diffusion model's ability to recognize content and degradation in low-resolution images. In the first stage, we employ unsupervised contrastive learning to obtain representations of image degradations. In the second stage, we integrate a degradation-aware module into a simplified ControlNet, enabling flexible adaptation to various degradations based on the learned representations. Furthermore, we decompose the degradation-aware features into global semantics and local details branches, which are then injected into the diffusion denoising module to modulate the target generation. Our method effectively recovers semantically precise and photorealistic details, particularly under significant degradation conditions, demonstrating state-of-the-art performance across various benchmarks. Codes will be released at https://github.com/bichunyang419/DeeDSR.
• Abstract（参考訳）: 拡散モデルは、その強力な生成能力で知られ、現実世界の超解像問題に対処する上で重要な役割を果たす。 しかし、これらのモデルは、大域的な劣化の影響を無視しながら、局所的なテクスチャの改善に重点を置いており、意味的忠実度を著しく低減し、不正確な再構築と準最適超解像性能をもたらす。 この問題に対処するため,低解像度画像における拡散モデルのコンテンツ認識能力と劣化を向上する,新たな2段階の劣化認識フレームワークを提案する。 最初の段階では、教師なしのコントラスト学習を用いて画像劣化の表現を得る。 第2段階では、劣化認識モジュールを単純化されたコントロールネットに統合し、学習した表現に基づいて様々な劣化への柔軟な適応を可能にする。 さらに,劣化認識機能をグローバルセマンティクスと局所細部分岐に分解し,拡散復調モジュールに注入してターゲット生成を変調する。 提案手法は,特に顕著な劣化条件下でのセマンティック・精密・フォトリアリスティックな詳細を効果的に回収し,各種ベンチマークにおける最先端性能を実証する。 コードはhttps://github.com/bichunyang419/DeeDSRで公開される。

関連論文リスト

• Degradation Oriented and Regularized Network for Blind Depth Super-Resolution [48.744290794713905]
  現実のシナリオでは、キャプチャーされた深度データは、センサーの制限や複雑な撮像環境のために、従来と変わらない劣化に悩まされることが多い。 本稿では,現実のシーンにおける未知の劣化に適応的に対処する新しいフレームワークであるDORNetを提案する。 提案手法は,低解像度深度データの劣化表現をモデル化した自己教師付き劣化学習戦略の開発から始まる。 効率的なRGB-D融合を容易にするために,学習した劣化先行情報に基づいて,RGBコンテンツを奥行きデータに選択的に伝播する劣化指向の特徴変換モジュールを導入する。
  論文  参考訳（メタデータ） (2024-10-15T14:53:07Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• Suppressing Uncertainties in Degradation Estimation for Blind Super-Resolution [31.89605287039615]
  ブラインド画像の超解像問題は、未知の劣化モードで低解像度(LR)画像から高解像度(HR)画像を復元することを目的としている。 既存のほとんどの手法は、ぼやけたカーネルを使って画像劣化過程をモデル化している。 盲目的のtextbf Super-textbfResolution フレームワークに対して,textbfUncertainty に基づく分解表現を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:58:43Z)
• CasSR: Activating Image Power for Real-World Image Super-Resolution [24.152495730507823]
  超解像のためのカスケード拡散法CasSRは、高精細でリアルな画像を生成するために設計された新しい方法である。 低解像度画像からの情報の抽出を最適化するカスケード制御可能な拡散モデルを開発した。
  論文  参考訳（メタデータ） (2024-03-18T03:59:43Z)
• Diffusion Models Without Attention [110.5623058129782]
  Diffusion State Space Model (DiffuSSM) は、よりスケーラブルな状態空間モデルバックボーンで注目メカニズムを置き換えるアーキテクチャである。 拡散訓練におけるFLOP効率の高いアーキテクチャへの注力は、大きな前進となる。
  論文  参考訳（メタデータ） (2023-11-30T05:15:35Z)
• SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution [16.815468458589635]
  生成した実世界の画像の超解像のセマンティックな忠実さをよりよく保存するためのセマンティックス・アウェア・アプローチを提案する。 まず, 高精度なソフト・ハード・セマンティック・プロンプトを高い劣化下でも生成できる劣化対応プロンプト抽出器を訓練する。 実験により,本手法はよりリアルな画像の詳細を再現し,セマンティクスをよりよく保持できることが示された。
  論文  参考訳（メタデータ） (2023-11-27T18:11:19Z)
• LLDiffusion: Learning Degradation Representations in Diffusion Models for Low-Light Image Enhancement [118.83316133601319]
  現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。 本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T07:22:51Z)
• Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
  本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。 IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。 スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
  論文  参考訳（メタデータ） (2023-03-29T07:02:20Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
  本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。 特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
  論文  参考訳（メタデータ） (2020-03-02T13:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。