論文の概要: Joint Conditional Diffusion Model for Image Restoration with Mixed Degradations

• arxiv url: http://arxiv.org/abs/2404.07770v1
• Date: Thu, 11 Apr 2024 14:07:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 13:50:01.902548
• Title: Joint Conditional Diffusion Model for Image Restoration with Mixed Degradations
• Title（参考訳）: 混合劣化を伴う画像復元のための連成条件拡散モデル
• Authors: Yufeng Yue, Meng Yu, Luojie Yang, Yi Yang,
• Abstract要約: 悪天候下における画像復元のための新しい手法を提案する。 大気散乱モデルに基づく混合劣化モデルを用いて, 復元過程全体を導出する。 マルチウェザーおよび気象特化データセットの実験は、最先端の競合手法よりも、我々の手法が優れていることを示す。
• 参考スコア（独自算出の注目度）: 29.14467633167042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image restoration is rather challenging in adverse weather conditions, especially when multiple degradations occur simultaneously. Blind image decomposition was proposed to tackle this issue, however, its effectiveness heavily relies on the accurate estimation of each component. Although diffusion-based models exhibit strong generative abilities in image restoration tasks, they may generate irrelevant contents when the degraded images are severely corrupted. To address these issues, we leverage physical constraints to guide the whole restoration process, where a mixed degradation model based on atmosphere scattering model is constructed. Then we formulate our Joint Conditional Diffusion Model (JCDM) by incorporating the degraded image and degradation mask to provide precise guidance. To achieve better color and detail recovery results, we further integrate a refinement network to reconstruct the restored image, where Uncertainty Estimation Block (UEB) is employed to enhance the features. Extensive experiments performed on both multi-weather and weather-specific datasets demonstrate the superiority of our method over state-of-the-art competing methods.
• Abstract（参考訳）: 画像復元は、特に複数の劣化が同時に起こる場合、悪天候環境では比較的困難である。 ブラインド画像分解はこの問題に対処するために提案されたが、その有効性は各成分の正確な推定に大きく依存している。 拡散型モデルは画像復元作業において強い生成能力を示すが、劣化した画像がひどく破損した場合に無関係な内容を生成することができる。 これらの問題に対処するため, 大気散乱モデルに基づく混合劣化モデルを構築する際に, 物理的制約を利用して復元過程全体を導出する。 次に, 劣化画像と劣化マスクを組み込んだJCDM(Joint Conditional Diffusion Model)を定式化し, 正確なガイダンスを提供する。 色とディテールの再現性を向上するため,改良ネットワークを統合して復元画像の再構成を行い,不確実性推定ブロック(UEB)を用いて特徴の強化を行う。 マルチウェザーおよび気象特化データセットで行った大規模な実験は、最先端の競合手法よりも本手法が優れていることを示す。

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• OneRestore: A Universal Restoration Framework for Composite Degradation [33.556183375565034]
  現実のシナリオでは、画像障害はしばしば複合的な劣化として現れ、低光、迷路、雨、雪といった要素の複雑な相互作用を示す。 本研究では, 複雑な複合劣化シナリオを正確に表現するために, 4つの物理劣化パラダイムを統合した多目的イメージングモデルを提案する。 OneRestoreは、適応的で制御可能なシーン復元のために設計された新しいトランスフォーマーベースのフレームワークである。
  論文  参考訳（メタデータ） (2024-07-05T16:27:00Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• Suppressing Uncertainties in Degradation Estimation for Blind Super-Resolution [31.89605287039615]
  ブラインド画像の超解像問題は、未知の劣化モードで低解像度(LR)画像から高解像度(HR)画像を復元することを目的としている。 既存のほとんどの手法は、ぼやけたカーネルを使って画像劣化過程をモデル化している。 盲目的のtextbf Super-textbfResolution フレームワークに対して,textbfUncertainty に基づく分解表現を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:58:43Z)
• Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models [14.25759541950917]
  この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。 我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
  論文  参考訳（メタデータ） (2024-04-15T12:34:21Z)
• Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model [59.08821399652483]
  照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。 これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。 我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。 Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
  論文  参考訳（メタデータ） (2023-11-20T09:55:06Z)
• PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance [65.5618804029422]
  これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。 実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。 提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
  論文  参考訳（メタデータ） (2023-09-19T17:51:33Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Invertible Rescaling Network and Its Extensions [118.72015270085535]
  本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。 我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。 そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
  論文  参考訳（メタデータ） (2022-10-09T06:58:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。