論文の概要: RainDiffusion:When Unsupervised Learning Meets Diffusion Models for
Real-world Image Deraining
- arxiv url: http://arxiv.org/abs/2301.09430v1
- Date: Mon, 23 Jan 2023 13:34:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 13:35:09.202365
- Title: RainDiffusion:When Unsupervised Learning Meets Diffusion Models for
Real-world Image Deraining
- Title(参考訳): raindiffusion:教師なし学習が実世界画像の拡散モデルと出会うとき
- Authors: Mingqiang Wei, Yiyang Shen, Yongzhen Wang, Haoran Xie, Fu Lee Wang
- Abstract要約: RainDiffusionは、拡散モデルに基づく最初の教師なしイメージデラミニングパラダイムである。
NTBは、標準拡散モデルの未経験トレーニングの難しさを回避するために、サイクル一貫性アーキテクチャを利用する。
DTBは2つの条件拡散モジュールを利用して、所望の出力を徐々に洗練する。
- 参考スコア(独自算出の注目度): 16.852480088723443
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What will happen when unsupervised learning meets diffusion models for
real-world image deraining? To answer it, we propose RainDiffusion, the first
unsupervised image deraining paradigm based on diffusion models. Beyond the
traditional unsupervised wisdom of image deraining, RainDiffusion introduces
stable training of unpaired real-world data instead of weakly adversarial
training. RainDiffusion consists of two cooperative branches: Non-diffusive
Translation Branch (NTB) and Diffusive Translation Branch (DTB). NTB exploits a
cycle-consistent architecture to bypass the difficulty in unpaired training of
standard diffusion models by generating initial clean/rainy image pairs. DTB
leverages two conditional diffusion modules to progressively refine the desired
output with initial image pairs and diffusive generative prior, to obtain a
better generalization ability of deraining and rain generation. Rain-Diffusion
is a non adversarial training paradigm, serving as a new standard bar for
real-world image deraining. Extensive experiments confirm the superiority of
our RainDiffusion over un/semi-supervised methods and show its competitive
advantages over fully-supervised ones.
- Abstract(参考訳): 教師なし学習が実世界画像の拡散モデルと出会うとどうなるか?
そこで我々は,拡散モデルに基づく最初の教師なし画像デライニングパラダイムであるRainDiffusionを提案する。
RainDiffusionは、従来の教師なしのイメージデラリニングの知恵のほかに、弱い敵の訓練ではなく、現実のデータを安定的に訓練する。
レイン拡散は、非拡散翻訳分枝 (NTB) と拡散翻訳分枝 (DTB) の2つからなる。
NTBは、初期クリーン/レイン画像ペアを生成することで、標準拡散モデルの未ペアトレーニングの難しさを回避するために、サイクル一貫性アーキテクチャを利用する。
DTBは2つの条件付き拡散モジュールを利用して、初期画像対と拡散発生前の出力を段階的に洗練し、デラリニングと雨発生のより優れた一般化能力を得る。
rain-diffusionは、非敵対的なトレーニングパラダイムであり、現実世界のイメージレーディングの新しい標準バーとして機能する。
広範囲にわたる実験により, 雨水拡散が国連/半監督法よりも優れていることを確認し, 完全監督法よりもその優位性が示された。
関連論文リスト
- Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳(メタデータ) (2024-02-15T18:59:18Z) - Residual Diffusion Modeling for Km-scale Atmospheric Downscaling [51.061954281398116]
台湾上空2kmの高解像度気象モデルを用いて,コスト効率の低いダウンスケーリングモデルを訓練した。
textitCorrDiffは、RMSEとCRPSを巧みに表現し、極端な場合でもスペクトルと分布を忠実に回復する。
グローバルな予測のスケールダウンは、これらのメリットの多くを成功裏に維持し、マシンラーニングの天気予報のエンドツーエンドなグローバルなスケールの可能性を先導する。
論文 参考訳(メタデータ) (2023-09-24T19:57:22Z) - Sparse Sampling Transformer with Uncertainty-Driven Ranking for Unified
Removal of Raindrops and Rain Streaks [17.00078021737863]
実際の世界では、雨による画像劣化は、しばしば雨害と雨滴の組み合わせを示し、それによって根底にあるクリーンなイメージを回復する課題が増大する。
本稿は,グローバルな視点における劣化関係を学習し,モデル化するための,効率的かつ柔軟なメカニズムを提案することを目的とする。
論文 参考訳(メタデータ) (2023-08-27T16:33:11Z) - Towards Ground Truth for Single Image Deraining [45.50400293855075]
実世界の雨天とクリーンなイメージペアの大規模データセットを提案する。
雨天と清潔な画像の間の雨変量損失を最小限に抑えて、基盤となるシーンを再構築するディープニューラルネットワークを提案する。
本モデルでは, 種々の条件下での実際の降雨画像において, 最先端のデレーニング手法よりも優れた性能を示すことができる。
論文 参考訳(メタデータ) (2022-06-22T00:10:06Z) - Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。
具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。
ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文 参考訳(メタデータ) (2021-03-14T14:28:57Z) - From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。
降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。
総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文 参考訳(メタデータ) (2020-08-08T18:56:51Z) - Structural Residual Learning for Single Image Rain Removal [48.87977695398587]
本研究は,本質的な降雨構造を有するネットワークの出力残余を強制することで,新たなネットワークアーキテクチャを提案する。
このような構造的残差設定は、ネットワークによって抽出された雨層が、一般的な雨害の以前の知識に微妙に従うことを保証している。
論文 参考訳(メタデータ) (2020-05-19T05:52:13Z) - Semi-DerainGAN: A New Semi-supervised Single Image Deraining Network [45.78251508028359]
本稿では,セミデリンGANと呼ばれる,半教師付きGANベースのデラミニングネットワークを提案する。
2つの教師なしおよび教師なしのプロセスを使用して、一様ネットワークで合成画像と実際の雨画像の両方を使用することができる。
そこで我々は,実対と偽対を識別する識別器を設計した。
論文 参考訳(メタデータ) (2020-01-23T07:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。