論文の概要: Removing Multiple Hybrid Adverse Weather in Video via a Unified Model
- arxiv url: http://arxiv.org/abs/2503.06200v1
- Date: Sat, 08 Mar 2025 13:01:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:49:15.219583
- Title: Removing Multiple Hybrid Adverse Weather in Video via a Unified Model
- Title（参考訳）: 統一モデルによる複数ハイブリッド逆風の除去
- Authors: Yecong Wan, Mingwen Shao, Yuanshuo Cheng, Jun Shu, Shuigen Wang,
- Abstract要約: 我々はUniWRVと呼ばれる新しい統一モデルを提案し、オールインワン方式で複数の異種映像の天気劣化を除去する。
我々のUniWRVは、複数の異種劣化学習シナリオにおいて、堅牢で優れた適応能力を示す。
- 参考スコア（独自算出の注目度）: 6.868658821057831
- License:
- Abstract: Videos captured under real-world adverse weather conditions typically suffer from uncertain hybrid weather artifacts with heterogeneous degradation distributions. However, existing algorithms only excel at specific single degradation distributions due to limited adaption capacity and have to deal with different weather degradations with separately trained models, thus may fail to handle real-world stochastic weather scenarios. Besides, the model training is also infeasible due to the lack of paired video data to characterize the coexistence of multiple weather. To ameliorate the aforementioned issue, we propose a novel unified model, dubbed UniWRV, to remove multiple heterogeneous video weather degradations in an all-in-one fashion. Specifically, to tackle degenerate spatial feature heterogeneity, we propose a tailored weather prior guided module that queries exclusive priors for different instances as prompts to steer spatial feature characterization. To tackle degenerate temporal feature heterogeneity, we propose a dynamic routing aggregation module that can automatically select optimal fusion paths for different instances to dynamically integrate temporal features. Additionally, we managed to construct a new synthetic video dataset, termed HWVideo, for learning and benchmarking multiple hybrid adverse weather removal, which contains 15 hybrid weather conditions with a total of 1500 adverse-weather/clean paired video clips. Real-world hybrid weather videos are also collected for evaluating model generalizability. Comprehensive experiments demonstrate that our UniWRV exhibits robust and superior adaptation capability in multiple heterogeneous degradations learning scenarios, including various generic video restoration tasks beyond weather removal.
- Abstract（参考訳）: 現実の悪天候下で撮影されたビデオは、通常、不均一な劣化分布を持つ不確実なハイブリッド気象アーティファクトに悩まされる。
しかし、既存のアルゴリズムは適応能力が限られており、個別に訓練されたモデルで異なる気象劣化に対処しなければならないため、現実の確率的な気象シナリオに対処できない可能性がある。
さらに、複数の気象の共存を特徴付けるペアビデオデータがないため、モデルトレーニングも実現不可能である。
上記の課題を改善するために,UniWRVと呼ばれる新しい統一モデルを提案する。
具体的には、空間的特徴の不均一性に対処するために、異なるインスタンスの排他的事前を検索して空間的特徴特徴を推定する手法として、調整済みの天気予報モジュールを提案する。
時間的特徴の不均一性に対処するために,時間的特徴を動的に統合するために,異なるインスタンスに対して最適な融合経路を自動的に選択できる動的ルーティングアグリゲーションモジュールを提案する。
さらに,HWVideoと呼ばれる新しい合成ビデオデータセットの構築に成功し,15のハイブリッド気象条件と1500の有害気象/クリーンペアビデオクリップを含む複数のハイブリッド悪天候除去の学習とベンチマークを行った。
モデル一般化性を評価するために、実世界のハイブリッド気象ビデオも収集される。
総合的な実験により、我々のUniWRVは複数の異種劣化学習シナリオにおいて頑健で優れた適応能力を示しており、その中には、天候除去以外の様々な一般的なビデオ復元タスクも含まれている。
関連論文リスト
- Multiple weather images restoration using the task transformer and adaptive mixup strategy [14.986500375481546]
本稿では,複雑な気象条件を適応的に効果的に処理できる,マルチタスクの厳しい天候除去モデルを提案する。
本モデルでは,気象タスクシークエンスジェネレータを組み込んで,気象タイプに特有な特徴に選択的に注目する自己認識機構を実現する。
提案モデルでは,公開データセット上での最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-09-05T04:55:40Z) - Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for
Video Adverse Weather Removal [53.15046196592023]
ビデオの悪天候除去におけるテスト時間適応について紹介する。
本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-12T14:21:30Z) - Continual All-in-One Adverse Weather Removal with Knowledge Replay on a
Unified Network Structure [92.8834309803903]
現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。
我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。
連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
論文 参考訳（メタデータ） (2024-03-12T03:50:57Z) - Spatial Decomposition and Temporal Fusion based Inter Prediction for
Learned Video Compression [59.632286735304156]
学習ビデオ圧縮のための空間分解と時間融合に基づく相互予測を提案する。
SDDに基づく動きモデルと長時間の時間的融合により,提案した学習ビデオはより正確な相互予測コンテキストを得ることができる。
論文 参考訳（メタデータ） (2024-01-29T03:30:21Z) - Always Clear Days: Degradation Type and Severity Aware All-In-One
Adverse Weather Removal [8.58670633761819]
オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の気象劣化を回復することを目的としている。
本稿では,視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルUtilityIRを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:29:55Z) - MetaWeather: Few-Shot Weather-Degraded Image Restoration [17.63266150036311]
メタウェザー(MetaWeather)は、多様な新しい気象条件を単一の統一モデルで処理できる普遍的なアプローチである。
メタウェザーは未確認の気象条件に適応でき、最先端のマルチウェザー画像復元法よりも優れることを示す。
論文 参考訳（メタデータ） (2023-08-28T06:25:40Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳（メタデータ） (2023-06-15T10:06:13Z) - Restoring Images Captured in Arbitrary Hybrid Adverse Weather Conditions
in One Go [2.0054257354429925]
本稿ではRAHCと呼ばれる新しい統合フレームワークについて述べる。
また、任意のハイブリッド逆条件の復元を学習し、ベンチマークするための新しいデータセットであるHACを構築した。
論文 参考訳（メタデータ） (2023-05-17T06:42:42Z) - ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural
Rendering [83.75284107397003]
本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。
本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。
マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-05-03T13:24:06Z) - Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。
具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。
ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文 参考訳（メタデータ） (2021-03-14T14:28:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。