論文の概要: DA2Diff: Exploring Degradation-aware Adaptive Diffusion Priors for All-in-One Weather Restoration
- arxiv url: http://arxiv.org/abs/2504.05135v1
- Date: Mon, 07 Apr 2025 14:38:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-08 14:11:00.628541
- Title: DA2Diff: Exploring Degradation-aware Adaptive Diffusion Priors for All-in-One Weather Restoration
- Title（参考訳）: DA2Diff:オールインワン気象復旧のための劣化認識型適応拡散プリミティブの探索
- Authors: Jiamei Xiong, Xuefeng Yan, Yongzhen Wang, Wei Zhao, Xiao-Ping Zhang, Mingqiang Wei,
- Abstract要約: 本稿では,DA2Diff と呼ばれるオールインワン気象の回復に適応した劣化を考慮した拡散パラダイムを提案する。
学習可能な一連のプロンプトをデプロイし、CLIP空間の即時類似性制約によって分解認識表現をキャプチャする。
本稿では,動的気象対応ルータを用いた動的専門家選択変調器を提案する。
- 参考スコア（独自算出の注目度）: 32.16602874389847
- License:
- Abstract: Image restoration under adverse weather conditions is a critical task for many vision-based applications. Recent all-in-one frameworks that handle multiple weather degradations within a unified model have shown potential. However, the diversity of degradation patterns across different weather conditions, as well as the complex and varied nature of real-world degradations, pose significant challenges for multiple weather removal. To address these challenges, we propose an innovative diffusion paradigm with degradation-aware adaptive priors for all-in-one weather restoration, termed DA2Diff. It is a new exploration that applies CLIP to perceive degradation-aware properties for better multi-weather restoration. Specifically, we deploy a set of learnable prompts to capture degradation-aware representations by the prompt-image similarity constraints in the CLIP space. By aligning the snowy/hazy/rainy images with snow/haze/rain prompts, each prompt contributes to different weather degradation characteristics. The learned prompts are then integrated into the diffusion model via the designed weather specific prompt guidance module, making it possible to restore multiple weather types. To further improve the adaptiveness to complex weather degradations, we propose a dynamic expert selection modulator that employs a dynamic weather-aware router to flexibly dispatch varying numbers of restoration experts for each weather-distorted image, allowing the diffusion model to restore diverse degradations adaptively. Experimental results substantiate the favorable performance of DA2Diff over state-of-the-arts in quantitative and qualitative evaluation. Source code will be available after acceptance.
- Abstract（参考訳）: 悪天候下での画像復元は多くの視覚ベースのアプリケーションにとって重要な課題である。
最近のオールインワンフレームワークは、統一されたモデル内で複数の気象劣化を処理する可能性を示している。
しかし、異なる気象条件における劣化パターンの多様性と、現実の劣化の複雑で多様な性質は、複数の気象の除去に重大な課題をもたらす。
これらの課題に対処するために, DA2Diff と呼ばれるオールインワンの気象復旧に適応した劣化を考慮した拡散パラダイムを提案する。
これはCLIPを適用した新しい探索であり、より優れたマルチウェザー復元のための劣化認識特性を知覚する。
具体的には、CLIP空間の即時類似性制約によって、分解認識表現をキャプチャするために、学習可能な一連のプロンプトをデプロイする。
降雪・ヘイズ・レインのプロンプトと雪・ヘイズ・レインのプロンプトを合わせることで、各プロンプトは異なる気象劣化特性に寄与する。
学習したプロンプトは、設計した気象特定プロンプト誘導モジュールを介して拡散モデルに統合され、複数の気象タイプを復元することができる。
複雑な気象劣化に対する適応性を改善するために,動的気象対応ルータを用いて,各気象歪み画像に対して様々な数の復元専門家を柔軟にディスパッチし,拡散モデルにより多様な劣化を適応的に復元する動的専門家選択変調器を提案する。
実験結果から, DA2Diffの定量的, 質的評価において, 最先端技術よりも良好な性能を実証した。
ソースコードは受理後利用可能になる。
関連論文リスト
- MWFormer: Multi-Weather Image Restoration Using Degradation-Aware Transformers [44.600209414790854]
悪天候下で撮影された画像の復元は、多くのコンピュータビジョンアプリケーションにとって基本的な課題である。
本稿では,マルチウェザー変換器 (MWFormer) を提案する。
MWFormerは,既存の最先端手法と比較して,大幅な性能向上を実現していることを示す。
論文 参考訳（メタデータ） (2024-11-26T08:47:39Z) - Multiple weather images restoration using the task transformer and adaptive mixup strategy [14.986500375481546]
本稿では,複雑な気象条件を適応的に効果的に処理できる,マルチタスクの厳しい天候除去モデルを提案する。
本モデルでは,気象タスクシークエンスジェネレータを組み込んで,気象タイプに特有な特徴に選択的に注目する自己認識機構を実現する。
提案モデルでは,公開データセット上での最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-09-05T04:55:40Z) - Continual All-in-One Adverse Weather Removal with Knowledge Replay on a
Unified Network Structure [92.8834309803903]
現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。
我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。
連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
論文 参考訳（メタデータ） (2024-03-12T03:50:57Z) - Language-driven All-in-one Adverse Weather Removal [11.47695460133523]
All-in-one (AiO)フレームワークは、1組のネットワークで様々な悪天候の悪化を修復する。
既存の方法は、通常現実世界のアプリケーションでは知られていない余分な監視信号に依存している。
上記の問題を緩和するLDR(Language-driven Restoration framework)を提案する。
論文 参考訳（メタデータ） (2023-12-03T13:05:54Z) - Always Clear Days: Degradation Type and Severity Aware All-In-One
Adverse Weather Removal [8.58670633761819]
オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の気象劣化を回復することを目的としている。
本稿では,視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルUtilityIRを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:29:55Z) - Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video
Restoration [78.14941737723501]
オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。
2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。
さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
論文 参考訳（メタデータ） (2023-09-04T14:18:00Z) - MetaWeather: Few-Shot Weather-Degraded Image Restoration [17.63266150036311]
メタウェザー(MetaWeather)は、多様な新しい気象条件を単一の統一モデルで処理できる普遍的なアプローチである。
メタウェザーは未確認の気象条件に適応でき、最先端のマルチウェザー画像復元法よりも優れることを示す。
論文 参考訳（メタデータ） (2023-08-28T06:25:40Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳（メタデータ） (2023-06-15T10:06:13Z) - Counting Crowds in Bad Weather [68.50690406143173]
本研究では,悪天候シナリオにおいて,ロバストな群集カウント手法を提案する。
モデルでは,外見のバリエーションが大きいことを考慮し,効果的な特徴と適応的なクエリを学習する。
実験の結果,提案アルゴリズムは,ベンチマークデータセット上で異なる気象条件下での群集のカウントに有効であることが示唆された。
論文 参考訳（メタデータ） (2023-06-02T00:00:09Z) - Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model [51.49854435403139]
本研究では,拡散モデルに基づく最初の実世界の画像デライニングパラダイムであるRainDiffを提案する。
安定的で非敵対的なサイクル一貫性のあるアーキテクチャを導入し、トレーニングをエンドツーエンドで行えます。
また,複数の降雨の先行学習によって条件付けられた拡散生成過程を通じて,所望の出力を洗練する劣化条件拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-01-23T13:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。