論文の概要: Language-driven All-in-one Adverse Weather Removal
- arxiv url: http://arxiv.org/abs/2312.01381v1
- Date: Sun, 3 Dec 2023 13:05:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 17:30:53.178796
- Title: Language-driven All-in-one Adverse Weather Removal
- Title(参考訳): 言語駆動オールインワン悪天候除去
- Authors: Hao Yang, Liyuan Pan, Yan Yang, and Wei Liang
- Abstract要約: All-in-one (AiO)フレームワークは、1組のネットワークで様々な悪天候の悪化を修復する。
既存の方法は、通常現実世界のアプリケーションでは知られていない余分な監視信号に依存している。
上記の問題を緩和するLDR(Language-driven Restoration framework)を提案する。
- 参考スコア(独自算出の注目度): 11.47695460133523
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: All-in-one (AiO) frameworks restore various adverse weather degradations with
a single set of networks jointly. To handle various weather conditions, an AiO
framework is expected to adaptively learn weather-specific knowledge for
different degradations and shared knowledge for common patterns. However,
existing methods: 1) rely on extra supervision signals, which are usually
unknown in real-world applications; 2) employ fixed network structures, which
restrict the diversity of weather-specific knowledge. In this paper, we propose
a Language-driven Restoration framework (LDR) to alleviate the aforementioned
issues. First, we leverage the power of pre-trained vision-language (PVL)
models to enrich the diversity of weather-specific knowledge by reasoning about
the occurrence, type, and severity of degradation, generating description-based
degradation priors. Then, with the guidance of degradation prior, we sparsely
select restoration experts from a candidate list dynamically based on a
Mixture-of-Experts (MoE) structure. This enables us to adaptively learn the
weather-specific and shared knowledge to handle various weather conditions
(e.g., unknown or mixed weather). Experiments on extensive restoration
scenarios show our superior performance (see Fig. 1). The source code will be
made available.
- Abstract(参考訳): All-in-one (AiO)フレームワークは、1組のネットワークで様々な悪天候の悪化を修復する。
様々な気象条件に対処するため、aioフレームワークは、異なる劣化の気象固有の知識と共通のパターンの共有知識を適応的に学習することが期待されている。
しかし、既存の方法
1) 現実の応用において通常未知の余分な監視信号に依存する。
2) 気象特化知識の多様性を制限する固定ネットワーク構造を用いる。
本稿では,先述した問題を緩和するLDR(Language-driven Restoration framework)を提案する。
まず、事前学習された視覚言語(PVL)モデルのパワーを利用して、劣化の発生、タイプ、深刻度を推論し、記述に基づく劣化の先行を発生させることにより、気象特化知識の多様性を高める。
そして,事前の劣化指導により,Mixture-of-Experts (MoE) 構造に基づいて,候補リストから復元専門家を動的に選別する。
これにより、気象特有の知識と共有知識を適応的に学習し、様々な気象条件(未知または混合気象など)を扱うことができる。
広範囲な修復シナリオの実験は、優れた性能を示している(図1参照)。
ソースコードは公開される予定だ。
関連論文リスト
- Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for
Video Adverse Weather Removal [53.15046196592023]
ビデオの悪天候除去におけるテスト時間適応について紹介する。
本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-12T14:21:30Z) - Continual All-in-One Adverse Weather Removal with Knowledge Replay on a
Unified Network Structure [92.8834309803903]
現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。
我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。
連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
論文 参考訳(メタデータ) (2024-03-12T03:50:57Z) - Decoupling Degradation and Content Processing for Adverse Weather Image
Restoration [79.59228846484415]
逆の気象画像復元は、雨、干し草、雪などの様々な気象の影響を受ける人々から、鮮明なイメージを復元する試みである。
従来の手法では、1つのネットワーク内で複数の気象タイプを処理できるが、これら2つのプロセス間の決定的な区別を無視し、復元された画像の品質を制限している。
本研究は,DDCNetと呼ばれる新しい悪天候画像復元手法を導入し,チャネル統計に基づく特徴レベルの劣化除去とコンテンツ復元を分離する。
論文 参考訳(メタデータ) (2023-12-08T12:26:38Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Always Clear Days: Degradation Type and Severity Aware All-In-One
Adverse Weather Removal [8.58670633761819]
オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の気象劣化を回復することを目的としている。
本稿では,視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルUtilityIRを提案する。
論文 参考訳(メタデータ) (2023-10-27T17:29:55Z) - MetaWeather: Few-Shot Weather-Degraded Image Restoration [17.63266150036311]
メタウェザー(MetaWeather)は、多様な新しい気象条件を単一の統一モデルで処理できる普遍的なアプローチである。
提案手法は,未確認の気象条件に適応し,最先端のマルチウェザー画像復元法よりも優れることを示す。
論文 参考訳(メタデータ) (2023-08-28T06:25:40Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳(メタデータ) (2023-06-15T10:06:13Z) - Restoring Images Captured in Arbitrary Hybrid Adverse Weather Conditions
in One Go [2.0054257354429925]
本稿ではRAHCと呼ばれる新しい統合フレームワークについて述べる。
また、任意のハイブリッド逆条件の復元を学習し、ベンチマークするための新しいデータセットであるHACを構築した。
論文 参考訳(メタデータ) (2023-05-17T06:42:42Z) - Weather GAN: Multi-Domain Weather Translation Using Generative
Adversarial Networks [76.64158017926381]
新しいタスク、すなわち、あるカテゴリから別のカテゴリに画像の気象条件を転送することを指す天気翻訳が提案されています。
ジェネレーション・アドバーサリー・ネットワーク(GAN)に基づくマルチドメインの気象翻訳手法を開発しています。
本手法は, 気象翻訳による歪みと変形を抑制する。
論文 参考訳(メタデータ) (2021-03-09T13:51:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。