論文の概要: Unpaired Photo-realistic Image Deraining with Energy-informed Diffusion Model
- arxiv url: http://arxiv.org/abs/2407.17193v1
- Date: Wed, 24 Jul 2024 11:51:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 14:04:14.556121
- Title: Unpaired Photo-realistic Image Deraining with Energy-informed Diffusion Model
- Title（参考訳）: エネルギーインフォームド拡散モデルによる非対光リアル画像のデライニング
- Authors: Yuanbo Wen, Tao Gao, Ting Chen,
- Abstract要約: 画像デライニングのためのエネルギーインフォームド拡散モデル(UPID-EDM)を提案する。
本稿では,降雨関連特性を抑えつつ,降雨関連特性を排除した二重整合エネルギー関数(DEF)を提案する。
さらに,事前学習拡散モデルの逆サンプリング手順を指示するために,RDEF (Retro-Relevance Discarding Energy Function) とRPEF (Retro-Relevance Preserving Energy Function) を用いる。
- 参考スコア（独自算出の注目度）: 8.501167166570578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing unpaired image deraining approaches face challenges in accurately capture the distinguishing characteristics between the rainy and clean domains, resulting in residual degradation and color distortion within the reconstructed images. To this end, we propose an energy-informed diffusion model for unpaired photo-realistic image deraining (UPID-EDM). Initially, we delve into the intricate visual-language priors embedded within the contrastive language-image pre-training model (CLIP), and demonstrate that the CLIP priors aid in the discrimination of rainy and clean images. Furthermore, we introduce a dual-consistent energy function (DEF) that retains the rain-irrelevant characteristics while eliminating the rain-relevant features. This energy function is trained by the non-corresponding rainy and clean images. In addition, we employ the rain-relevance discarding energy function (RDEF) and the rain-irrelevance preserving energy function (RPEF) to direct the reverse sampling procedure of a pre-trained diffusion model, effectively removing the rain streaks while preserving the image contents. Extensive experiments demonstrate that our energy-informed model surpasses the existing unpaired learning approaches in terms of both supervised and no-reference metrics.
- Abstract（参考訳）: 既存画像デライン化手法では, 雨領域と清浄領域の区別特性を正確に把握し, 画像の劣化や色歪みを再現する。
そこで本研究では,不対光実写画像デライニング(UPID-EDM)のためのエネルギーインフォームド拡散モデルを提案する。
当初、コントラスト言語画像事前学習モデル(CLIP)に埋め込まれた複雑な視覚言語事前学習を探索し、CLIPが雨やきれいな画像の識別に有効であることを実証した。
さらに,降雨関連特性を排除しつつ,降雨関連特性を保ちつつ,二成分エネルギー関数(DEF)を導入する。
このエネルギー関数は、非対応の雨ときれいな画像によって訓練される。
また,Retro-Relevance Discarding Energy Function (RDEF) とRetro-Rerelevance Preserving Energy Function (RPEF) を用いて,事前学習した拡散モデルの逆サンプリング手順を指示し,画像内容を保存しながら雨害を効果的に除去する。
大規模な実験により、我々のエネルギーインフォームドモデルは、教師付きと非参照の両方の指標で既存の未学習のアプローチを超越していることが示された。
関連論文リスト
- Sparse Sampling Transformer with Uncertainty-Driven Ranking for Unified
Removal of Raindrops and Rain Streaks [17.00078021737863]
実際の世界では、雨による画像劣化は、しばしば雨害と雨滴の組み合わせを示し、それによって根底にあるクリーンなイメージを回復する課題が増大する。
本稿は,グローバルな視点における劣化関係を学習し,モデル化するための,効率的かつ柔軟なメカニズムを提案することを目的とする。
論文 参考訳（メタデータ） (2023-08-27T16:33:11Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T03:08:28Z) - Contrastive Learning Based Recursive Dynamic Multi-Scale Network for
Image Deraining [47.764883957379745]
雨のストリークは撮影画像の可視性を著しく低下させる。
既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。
本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
論文 参考訳（メタデータ） (2023-05-29T13:51:41Z) - Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。
既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。
L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
論文 参考訳（メタデータ） (2023-05-06T10:17:42Z) - Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model [51.49854435403139]
本研究では,拡散モデルに基づく最初の実世界の画像デライニングパラダイムであるRainDiffを提案する。
安定的で非敵対的なサイクル一貫性のあるアーキテクチャを導入し、トレーニングをエンドツーエンドで行えます。
また,複数の降雨の先行学習によって条件付けられた拡散生成過程を通じて,所望の出力を洗練する劣化条件拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-01-23T13:34:01Z) - Heavy Rain Face Image Restoration: Integrating Physical Degradation
Model and Facial Component Guided Adversarial Learning [5.051036968777244]
本研究では,高分解能高雨面画像(LRHR-FI)から高分解能高雨面画像(HR-FI)を復元する手法を提案する。
解釈可能なIMMベースのネットワークは、雨天、送信マップ、大気光などの物理的パラメータを予測するために構築されている。
第2段階では、第1段階で出力されるLR-FIからHR-FIを再構築することを目的として、顔構造表現を促進するために、顔成分誘導対向学習(FCGAL)を適用する。
論文 参考訳（メタデータ） (2022-04-18T13:24:37Z) - Deep Single Image Deraining using An Asymetric Cycle Generative and
Adversarial Framework [16.59494337699748]
単体画像デライニングのための新しいACGF(Asymetric Cycle Generative and Adrial framework)を提案する。
ACGFは合成雨像と実際の雨像の両方を訓練し、同時に雨の流れと霧の特徴を捉えている。
基準降雨量と降雨量のデータセットによる実験では、ACGFは最先端のデラライニング法よりも優れていた。
論文 参考訳（メタデータ） (2022-02-19T16:14:10Z) - From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。
降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。
総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文 参考訳（メタデータ） (2020-08-08T18:56:51Z) - Structural Residual Learning for Single Image Rain Removal [48.87977695398587]
本研究は,本質的な降雨構造を有するネットワークの出力残余を強制することで,新たなネットワークアーキテクチャを提案する。
このような構造的残差設定は、ネットワークによって抽出された雨層が、一般的な雨害の以前の知識に微妙に従うことを保証している。
論文 参考訳（メタデータ） (2020-05-19T05:52:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。