論文の概要: Language-driven All-in-one Adverse Weather Removal

• arxiv url: http://arxiv.org/abs/2312.01381v1
• Date: Sun, 3 Dec 2023 13:05:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 17:30:53.178796
• Title: Language-driven All-in-one Adverse Weather Removal
• Title（参考訳）: 言語駆動オールインワン悪天候除去
• Authors: Hao Yang, Liyuan Pan, Yan Yang, and Wei Liang
• Abstract要約: All-in-one (AiO)フレームワークは、1組のネットワークで様々な悪天候の悪化を修復する。 既存の方法は、通常現実世界のアプリケーションでは知られていない余分な監視信号に依存している。 上記の問題を緩和するLDR(Language-driven Restoration framework)を提案する。
• 参考スコア（独自算出の注目度）: 11.47695460133523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: All-in-one (AiO) frameworks restore various adverse weather degradations with a single set of networks jointly. To handle various weather conditions, an AiO framework is expected to adaptively learn weather-specific knowledge for different degradations and shared knowledge for common patterns. However, existing methods: 1) rely on extra supervision signals, which are usually unknown in real-world applications; 2) employ fixed network structures, which restrict the diversity of weather-specific knowledge. In this paper, we propose a Language-driven Restoration framework (LDR) to alleviate the aforementioned issues. First, we leverage the power of pre-trained vision-language (PVL) models to enrich the diversity of weather-specific knowledge by reasoning about the occurrence, type, and severity of degradation, generating description-based degradation priors. Then, with the guidance of degradation prior, we sparsely select restoration experts from a candidate list dynamically based on a Mixture-of-Experts (MoE) structure. This enables us to adaptively learn the weather-specific and shared knowledge to handle various weather conditions (e.g., unknown or mixed weather). Experiments on extensive restoration scenarios show our superior performance (see Fig. 1). The source code will be made available.
• Abstract（参考訳）: All-in-one (AiO)フレームワークは、1組のネットワークで様々な悪天候の悪化を修復する。 様々な気象条件に対処するため、aioフレームワークは、異なる劣化の気象固有の知識と共通のパターンの共有知識を適応的に学習することが期待されている。 しかし、既存の方法 1) 現実の応用において通常未知の余分な監視信号に依存する。 2) 気象特化知識の多様性を制限する固定ネットワーク構造を用いる。 本稿では,先述した問題を緩和するLDR(Language-driven Restoration framework)を提案する。 まず、事前学習された視覚言語(PVL)モデルのパワーを利用して、劣化の発生、タイプ、深刻度を推論し、記述に基づく劣化の先行を発生させることにより、気象特化知識の多様性を高める。 そして,事前の劣化指導により,Mixture-of-Experts (MoE) 構造に基づいて,候補リストから復元専門家を動的に選別する。 これにより、気象特有の知識と共有知識を適応的に学習し、様々な気象条件(未知または混合気象など)を扱うことができる。 広範囲な修復シナリオの実験は、優れた性能を示している(図1参照)。 ソースコードは公開される予定だ。

関連論文リスト

• WeatherGFM: Learning A Weather Generalist Foundation Model via In-context Learning [69.82211470647349]
  第1次一般気象基礎モデル(WeatherGFM)を紹介する。 気象理解タスクの幅広い範囲を統一的な方法で解決する。 我々のモデルは、天気予報、超解像、天気画像翻訳、後処理など、最大10の気象理解タスクを効果的に処理できる。
  論文  参考訳（メタデータ） (2024-11-08T09:14:19Z)
• A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
  画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。 従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。 オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-10-19T11:11:09Z)
• Teaching Tailored to Talent: Adverse Weather Restoration via Prompt Pool and Depth-Anything Constraint [15.733168323227174]
  予測不能な気象入力を処理するために,新しいパイプラインT3-DiffWeatherを導入する。 我々は、サブプロンプトを自律的に組み合わせて天気予報を構築するプロンプトプールを採用している。 提案手法は,様々な合成および実世界のデータセットにまたがって最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-09-24T04:46:18Z)
• Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal [53.15046196592023]
  ビデオの悪天候除去におけるテスト時間適応について紹介する。 本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:21:30Z)
• Continual All-in-One Adverse Weather Removal with Knowledge Replay on a Unified Network Structure [92.8834309803903]
  現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。 我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。 連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
  論文  参考訳（メタデータ） (2024-03-12T03:50:57Z)
• Always Clear Days: Degradation Type and Severity Aware All-In-One Adverse Weather Removal [8.58670633761819]
  オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の気象劣化を回復することを目的としている。 本稿では,視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルUtilityIRを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:29:55Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• Weather GAN: Multi-Domain Weather Translation Using Generative Adversarial Networks [76.64158017926381]
  新しいタスク、すなわち、あるカテゴリから別のカテゴリに画像の気象条件を転送することを指す天気翻訳が提案されています。 ジェネレーション・アドバーサリー・ネットワーク(GAN)に基づくマルチドメインの気象翻訳手法を開発しています。 本手法は, 気象翻訳による歪みと変形を抑制する。
  論文  参考訳（メタデータ） (2021-03-09T13:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。