論文の概要: MoWE: Mixture of Weather Experts for Multiple Adverse Weather Removal

• arxiv url: http://arxiv.org/abs/2303.13739v1
• Date: Fri, 24 Mar 2023 01:46:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 16:12:52.125817
• Title: MoWE: Mixture of Weather Experts for Multiple Adverse Weather Removal
• Title（参考訳）: mowe:複数の悪天候除去のための気象専門家の混合
• Authors: Yulin Luo, Rui Zhao, Xiaobao Wei, Jinwei Chen, Yijie Lu, Shenghao Xie, Tianyu Wang, Ruiqin Xiong, Ming Lu, Shanghang Zhang
• Abstract要約: 現在、ほとんどの悪天候除去タスクは、デライニング、デリーディング、デヘイジングなど、独立して処理されている。 自律運転のシナリオでは、天候のタイプ、強度、混合度が不明であるため、分離されたタスク設定はこれらの複雑な条件をうまく扱えない。 本稿では,天気予報を意識した複雑な気象の除去を行うための新しい気象予報フレームワークであるtextbfMixture of Weather Experts (MoWE) を提案する。
• 参考スコア（独自算出の注目度）: 33.164990378359526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Currently, most adverse weather removal tasks are handled independently, such as deraining, desnowing, and dehazing. However, in autonomous driving scenarios, the type, intensity, and mixing degree of the weather are unknown, so the separated task setting cannot deal with these complex conditions well. Besides, the vision applications in autonomous driving often aim at high-level tasks, but existing weather removal methods neglect the connection between performance on perceptual tasks and signal fidelity. To this end, in upstream task, we propose a novel \textbf{Mixture of Weather Experts(MoWE)} Transformer framework to handle complex weather removal in a perception-aware fashion. We design a \textbf{Weather-aware Router} to make the experts targeted more relevant to weather types while without the need for weather type labels during inference. To handle diverse weather conditions, we propose \textbf{Multi-scale Experts} to fuse information among neighbor tokens. In downstream task, we propose a \textbf{Label-free Perception-aware Metric} to measure whether the outputs of image processing models are suitable for high level perception tasks without the demand for semantic labels. We collect a syntactic dataset \textbf{MAW-Sim} towards autonomous driving scenarios to benchmark the multiple weather removal performance of existing methods. Our MoWE achieves SOTA performance in upstream task on the proposed dataset and two public datasets, i.e. All-Weather and Rain/Fog-Cityscapes, and also have better perceptual results in downstream segmentation task compared to other methods. Our codes and datasets will be released after acceptance.
• Abstract（参考訳）: 現在、ほとんどの悪天候除去タスクは、デライニング、デリーディング、デヘイジングなど、独立して処理されている。 しかし、自律運転の場合、天候の種類、強度、混合度は不明であり、分離されたタスク設定はこれらの複雑な条件をうまく扱えない。 さらに、自動運転におけるビジョンアプリケーションは、しばしば高レベルなタスクを目標としているが、既存の気象除去手法では、知覚的タスクのパフォーマンスと信号の忠実度の関係を無視している。 この目的のために,上流タスクにおいて,複雑な気象除去を扱うための新しい気象専門家(mowe)トランスフォーマフレームワークである \textbf{mixture of weather experts (mowe)を提案する。 我々は,天気予報時に天気ラベルを必要とせずに,天気予報に関係のある専門家を対象とする「気象予報ルーター」を設計した。 多様な気象条件に対処するため,我々は隣接するトークン間で情報を融合する \textbf{multi-scale experts} を提案する。 下流タスクでは, セマンティックラベルを必要とせずに, 画像処理モデルの出力が高レベルの認識タスクに適しているかを測定するために, テキストbf{Label-free Perception-aware Metric}を提案する。 我々は、既存の手法の複数の天候除去性能をベンチマークするために、自律運転シナリオに対して構文データセット \textbf{MAW-Sim} を収集する。 私たちのmoweは,提案するデータセットと2つのパブリックデータセット,すなわち全天候と降雨/フォグ・シティスケープにおける上流タスクにおけるsoma性能を実現し,他の手法と比較して下流セグメンテーションタスクにおける知覚結果も向上する。 私たちのコードとデータセットは受け入れてからリリースされます。

関連論文リスト

• MWFormer: Multi-Weather Image Restoration Using Degradation-Aware Transformers [44.600209414790854]
  悪天候下で撮影された画像の復元は、多くのコンピュータビジョンアプリケーションにとって基本的な課題である。 本稿では,マルチウェザー変換器 (MWFormer) を提案する。 MWFormerは,既存の最先端手法と比較して,大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2024-11-26T08:47:39Z)
• WeatherGFM: Learning A Weather Generalist Foundation Model via In-context Learning [69.82211470647349]
  第1次一般気象基礎モデル(WeatherGFM)を紹介する。 気象理解タスクの幅広い範囲を統一的な方法で解決する。 我々のモデルは、天気予報、超解像、天気画像翻訳、後処理など、最大10の気象理解タスクを効果的に処理できる。
  論文  参考訳（メタデータ） (2024-11-08T09:14:19Z)
• SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal [57.52777076116241]
  逆天候除去は、悪天候下で透明な視界を回復することを目的としている。 本稿では教師ネットワーク上に構築された半教師付きオールインワン悪天候除去フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-29T12:12:22Z)
• Multiple weather images restoration using the task transformer and adaptive mixup strategy [14.986500375481546]
  本稿では,複雑な気象条件を適応的に効果的に処理できる,マルチタスクの厳しい天候除去モデルを提案する。 本モデルでは,気象タスクシークエンスジェネレータを組み込んで,気象タイプに特有な特徴に選択的に注目する自己認識機構を実現する。 提案モデルでは,公開データセット上での最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-09-05T04:55:40Z)
• Boosting Adverse Weather Crowd Counting via Multi-queue Contrastive Learning [8.692139673789555]
  本研究では,悪天候下でのモデルの堅牢性を高めるために,2段階の群集カウント手法を提案する。 第1段階では、気象クラス不均衡の問題に対処するために、マルチキューのMoCoコントラスト学習戦略を導入する。 第2段階では、コントラスト学習の指導の下で表現を洗練し、天気予知表現を通常の気象領域に変換することを提案する。
  論文  参考訳（メタデータ） (2024-08-12T07:13:08Z)
• Continual All-in-One Adverse Weather Removal with Knowledge Replay on a Unified Network Structure [92.8834309803903]
  現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。 我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。 連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
  論文  参考訳（メタデータ） (2024-03-12T03:50:57Z)
• All-weather Multi-Modality Image Fusion: Unified Framework and 100k Benchmark [42.49073228252726]
  MMIF(Multi-modality Image fusion)は、異なる画像モダリティからの相補的な情報を組み合わせて、より包括的で客観的なシーン解釈を提供する。 既存のMMIF法では、現実の場面で異なる気象干渉に抵抗する能力が欠如しており、自律運転のような実践的な応用では利用できない。 この文脈で効率的なマルチタスクを実現するために,全天候MMIFモデルを提案する。 実世界の場面と合成シーンの両方における実験結果から,提案アルゴリズムは細部回復と多モード特徴抽出に優れることが示された。
  論文  参考訳（メタデータ） (2024-02-03T09:02:46Z)
• Always Clear Days: Degradation Type and Severity Aware All-In-One Adverse Weather Removal [8.58670633761819]
  オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の気象劣化を回復することを目的としている。 本稿では,視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルUtilityIRを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:29:55Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• Counting Crowds in Bad Weather [68.50690406143173]
  本研究では,悪天候シナリオにおいて,ロバストな群集カウント手法を提案する。 モデルでは,外見のバリエーションが大きいことを考慮し,効果的な特徴と適応的なクエリを学習する。 実験の結果,提案アルゴリズムは,ベンチマークデータセット上で異なる気象条件下での群集のカウントに有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-02T00:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。