論文の概要: WM-MoE: Weather-aware Multi-scale Mixture-of-Experts for Blind Adverse Weather Removal

• arxiv url: http://arxiv.org/abs/2303.13739v2
• Date: Thu, 4 Apr 2024 02:36:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 20:51:58.977973
• Title: WM-MoE: Weather-aware Multi-scale Mixture-of-Experts for Blind Adverse Weather Removal
• Title（参考訳）: WM-MoE:Blind 逆気象除去のための気象対応マルチスケール混合機
• Authors: Yulin Luo, Rui Zhao, Xiaobao Wei, Jinwei Chen, Yijie Lu, Shenghao Xie, Tianyu Wang, Ruiqin Xiong, Ming Lu, Shanghang Zhang,
• Abstract要約: Mixture-of-Experts (MoE) は、学習可能なゲートを採用して、入力を異なる専門家ネットワークにルーティングする人気モデルである。 本稿では, 視覚障害者の視覚障害者のためのTransformer を用いた気象対応マルチスケールMOE (WM-MoE) を提案する。 本手法は,2つのパブリックデータセットとデータセットに対して,盲点悪天候除去における最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 38.257012295118145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adverse weather removal tasks like deraining, desnowing, and dehazing are usually treated as separate tasks. However, in practical autonomous driving scenarios, the type, intensity,and mixing degree of weather are unknown, so handling each task separately cannot deal with the complex practical scenarios. In this paper, we study the blind adverse weather removal problem. Mixture-of-Experts (MoE) is a popular model that adopts a learnable gate to route the input to different expert networks. The principle of MoE involves using adaptive networks to process different types of unknown inputs. Therefore, MoE has great potential for blind adverse weather removal. However, the original MoE module is inadequate for coupled multiple weather types and fails to utilize multi-scale features for better performance. To this end, we propose a method called Weather-aware Multi-scale MoE (WM-MoE) based on Transformer for blind weather removal. WM-MoE includes two key designs: WEather-Aware Router (WEAR) and Multi-Scale Experts (MSE). WEAR assigns experts for each image token based on decoupled content and weather features, which enhances the model's capability to process multiple adverse weathers. To obtain discriminative weather features from images, we propose Weather Guidance Fine-grained Contrastive Learning (WGF-CL), which utilizes weather cluster information to guide the assignment of positive and negative samples for each image token. Since processing different weather types requires different receptive fields, MSE leverages multi-scale features to enhance the spatial relationship modeling capability, facilitating the high-quality restoration of diverse weather types and intensities. Our method achieves state-of-the-art performance in blind adverse weather removal on two public datasets and our dataset. We also demonstrate the advantage of our method on downstream segmentation tasks.
• Abstract（参考訳）: 逆の天候除去タスク(デレーニング、デリーディング、デヘイジング)は、通常は別のタスクとして扱われる。 しかし、現実的な自律運転シナリオでは、タイプ、強度、混合度は不明であり、それぞれのタスクを個別に扱うことは複雑な現実的なシナリオには対応できない。 本稿では,視覚障害者の悪天候除去問題について検討する。 Mixture-of-Experts (MoE) は、学習可能なゲートを採用して、入力を異なる専門家ネットワークにルーティングする人気モデルである。 MoEの原理は、異なるタイプの未知の入力を処理するために適応的なネットワークを使用することである。 したがって、MoEは盲点の悪天候を除去する大きな可能性を秘めている。 しかし、オリジナルのMoEモジュールは複数の気象タイプを結合するのに不適であり、性能向上のためにマルチスケール機能を利用することができない。 そこで本稿では,Transformer を用いた気象対応マルチスケールMOE (Weather-Aware Multi-scale MoE) という手法を提案する。 WM-MoEには、WEather-Aware Router (WEAR)とMulti-Scale Experts (MSE)の2つの重要な設計が含まれている。 WEARは、分離されたコンテンツと天気の特徴に基づいて、各画像トークンに専門家を割り当て、複数の悪天候を処理するモデルの能力を高める。 画像から識別可能な気象特徴を得るため,気象クラスタ情報を用いて各画像トークンに対する正と負のサンプルの割り当てを誘導する気象誘導微粒コントラスト学習(WGF-CL)を提案する。 異なる気象タイプを処理するには異なる受容場を必要とするため、MSEは様々な気象タイプや強度の高品質な復元を容易にするため、空間関係モデリング能力を高めるためにマルチスケールの特徴を活用している。 本手法は,2つのパブリックデータセットとデータセットに対して,盲点悪天候除去における最先端性能を実現する。 また、下流セグメンテーションタスクにおける手法の利点を実証する。

関連論文リスト

• MWFormer: Multi-Weather Image Restoration Using Degradation-Aware Transformers [44.600209414790854]
  悪天候下で撮影された画像の復元は、多くのコンピュータビジョンアプリケーションにとって基本的な課題である。 本稿では,マルチウェザー変換器 (MWFormer) を提案する。 MWFormerは,既存の最先端手法と比較して,大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2024-11-26T08:47:39Z)
• WeatherGFM: Learning A Weather Generalist Foundation Model via In-context Learning [69.82211470647349]
  第1次一般気象基礎モデル(WeatherGFM)を紹介する。 気象理解タスクの幅広い範囲を統一的な方法で解決する。 我々のモデルは、天気予報、超解像、天気画像翻訳、後処理など、最大10の気象理解タスクを効果的に処理できる。
  論文  参考訳（メタデータ） (2024-11-08T09:14:19Z)
• SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal [57.52777076116241]
  逆天候除去は、悪天候下で透明な視界を回復することを目的としている。 本稿では教師ネットワーク上に構築された半教師付きオールインワン悪天候除去フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-29T12:12:22Z)
• Multiple weather images restoration using the task transformer and adaptive mixup strategy [14.986500375481546]
  本稿では,複雑な気象条件を適応的に効果的に処理できる,マルチタスクの厳しい天候除去モデルを提案する。 本モデルでは,気象タスクシークエンスジェネレータを組み込んで,気象タイプに特有な特徴に選択的に注目する自己認識機構を実現する。 提案モデルでは,公開データセット上での最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-09-05T04:55:40Z)
• Boosting Adverse Weather Crowd Counting via Multi-queue Contrastive Learning [8.692139673789555]
  本研究では,悪天候下でのモデルの堅牢性を高めるために,2段階の群集カウント手法を提案する。 第1段階では、気象クラス不均衡の問題に対処するために、マルチキューのMoCoコントラスト学習戦略を導入する。 第2段階では、コントラスト学習の指導の下で表現を洗練し、天気予知表現を通常の気象領域に変換することを提案する。
  論文  参考訳（メタデータ） (2024-08-12T07:13:08Z)
• Continual All-in-One Adverse Weather Removal with Knowledge Replay on a Unified Network Structure [92.8834309803903]
  現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。 我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。 連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
  論文  参考訳（メタデータ） (2024-03-12T03:50:57Z)
• All-weather Multi-Modality Image Fusion: Unified Framework and 100k Benchmark [42.49073228252726]
  MMIF(Multi-modality Image fusion)は、異なる画像モダリティからの相補的な情報を組み合わせて、より包括的で客観的なシーン解釈を提供する。 既存のMMIF法では、現実の場面で異なる気象干渉に抵抗する能力が欠如しており、自律運転のような実践的な応用では利用できない。 この文脈で効率的なマルチタスクを実現するために,全天候MMIFモデルを提案する。 実世界の場面と合成シーンの両方における実験結果から,提案アルゴリズムは細部回復と多モード特徴抽出に優れることが示された。
  論文  参考訳（メタデータ） (2024-02-03T09:02:46Z)
• Always Clear Days: Degradation Type and Severity Aware All-In-One Adverse Weather Removal [8.58670633761819]
  オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の気象劣化を回復することを目的としている。 本稿では,視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルUtilityIRを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:29:55Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• Counting Crowds in Bad Weather [68.50690406143173]
  本研究では,悪天候シナリオにおいて,ロバストな群集カウント手法を提案する。 モデルでは,外見のバリエーションが大きいことを考慮し,効果的な特徴と適応的なクエリを学習する。 実験の結果,提案アルゴリズムは,ベンチマークデータセット上で異なる気象条件下での群集のカウントに有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-02T00:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。