論文の概要: Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model

• arxiv url: http://arxiv.org/abs/2301.09430v4
• Date: Wed, 1 May 2024 09:51:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 20:50:17.817497
• Title: Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model
• Title（参考訳）: 劣化条件付き拡散モデルによる実世界のイメージデライニングの再考
• Authors: Yiyang Shen, Mingqiang Wei, Yongzhen Wang, Xueyang Fu, Jing Qin,
• Abstract要約: 本研究では,拡散モデルに基づく最初の実世界の画像デライニングパラダイムであるRainDiffを提案する。 安定的で非敵対的なサイクル一貫性のあるアーキテクチャを導入し、トレーニングをエンドツーエンドで行えます。 また,複数の降雨の先行学習によって条件付けられた拡散生成過程を通じて,所望の出力を洗練する劣化条件拡散モデルを提案する。
• 参考スコア（独自算出の注目度）: 51.49854435403139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent diffusion models have exhibited great potential in generative modeling tasks. Part of their success can be attributed to the ability of training stable on huge sets of paired synthetic data. However, adapting these models to real-world image deraining remains difficult for two aspects. First, collecting a large-scale paired real-world clean/rainy dataset is unavailable while regular conditional diffusion models heavily rely on paired data for training. Second, real-world rain usually reflects real-world scenarios with a variety of unknown rain degradation types, which poses a significant challenge for the generative modeling process. To meet these challenges, we propose RainDiff, the first real-world image deraining paradigm based on diffusion models, serving as a new standard bar for real-world image deraining. We address the first challenge by introducing a stable and non-adversarial unpaired cycle-consistent architecture that can be trained, end-to-end, with only unpaired data for supervision; and the second challenge by proposing a degradation-conditioned diffusion model that refines the desired output via a diffusive generative process conditioned by learned priors of multiple rain degradations. Extensive experiments confirm the superiority of our RainDiff over existing unpaired/semi-supervised methods and show its competitive advantages over several fully-supervised ones.
• Abstract（参考訳）: 最近の拡散モデルでは、生成的モデリングタスクに大きな可能性がある。 彼らの成功の一部は、ペア化された大量の合成データに基づいて安定したトレーニングを行う能力に起因している。 しかし、これらのモデルを実世界の画像に適応させることは、2つの面において困難である。 まず、大規模なペア化された実世界のクリーン/レーニーデータセットの収集は不可能であり、通常の条件拡散モデルはトレーニングのためにペア化されたデータに大きく依存する。 第二に、現実世界の雨は通常、様々な未知の降雨タイプを持つ現実世界のシナリオを反映しており、生成的モデリングプロセスにおいて重要な課題となっている。 これらの課題に対処するため,拡散モデルに基づく世界初の実世界のイメージデライン化パラダイムであるRainDiffを提案し,実世界のイメージデライン化のための新しい標準バーとして機能する。 本研究は,複数雨の降雨前処理によって予測される拡散生成過程を通じて所望の出力を洗練させる分解条件拡散モデルを提案することで,その第1の課題に対処する。 大規模な実験により、RainDiffが既存の未熟/半監督手法よりも優れていることが確認され、完全に監督されたいくつかの方法よりも競争上の優位性を示す。

関連論文リスト

• GenDeg: Diffusion-Based Degradation Synthesis for Generalizable All-in-One Image Restoration [26.434359848151978]
  我々は,クリーンな画像上で多様な劣化パターンを生成できる条件拡散モデルGenDegを紹介する。 我々は,550万点以上の試料を,ヘイズ,雨,雪,動きのぼやけ,低照度,雨滴の6種類に分けて合成した。 実験の結果,GenDSデータセットでトレーニングした画像復元モデルは,アウト・オブ・ディストリビューション性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-11-26T18:55:49Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Sparse Sampling Transformer with Uncertainty-Driven Ranking for Unified Removal of Raindrops and Rain Streaks [17.00078021737863]
  実際の世界では、雨による画像劣化は、しばしば雨害と雨滴の組み合わせを示し、それによって根底にあるクリーンなイメージを回復する課題が増大する。 本稿は,グローバルな視点における劣化関係を学習し,モデル化するための,効率的かつ柔軟なメカニズムを提案することを目的とする。
  論文  参考訳（メタデータ） (2023-08-27T16:33:11Z)
• Bi-Noising Diffusion: Towards Conditional Diffusion Models with Generative Restoration Priors [64.24948495708337]
  本研究では,事前訓練した非条件拡散モデルを用いて,予測サンプルをトレーニングデータ多様体に導入する手法を提案する。 我々は,超解像,着色,乱流除去,画像劣化作業におけるアプローチの有効性を実証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-12-14T17:26:35Z)
• Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
  本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。 具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。 ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
  論文  参考訳（メタデータ） (2021-03-14T14:28:57Z)
• From Rain Generation to Rain Removal [67.71728610434698]
  雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。 降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。 総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
  論文  参考訳（メタデータ） (2020-08-08T18:56:51Z)
• Structural Residual Learning for Single Image Rain Removal [48.87977695398587]
  本研究は,本質的な降雨構造を有するネットワークの出力残余を強制することで,新たなネットワークアーキテクチャを提案する。 このような構造的残差設定は、ネットワークによって抽出された雨層が、一般的な雨害の以前の知識に微妙に従うことを保証している。
  論文  参考訳（メタデータ） (2020-05-19T05:52:13Z)
• Semi-DerainGAN: A New Semi-supervised Single Image Deraining Network [45.78251508028359]
  本稿では,セミデリンGANと呼ばれる,半教師付きGANベースのデラミニングネットワークを提案する。 2つの教師なしおよび教師なしのプロセスを使用して、一様ネットワークで合成画像と実際の雨画像の両方を使用することができる。 そこで我々は,実対と偽対を識別する識別器を設計した。
  論文  参考訳（メタデータ） (2020-01-23T07:01:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。