論文の概要: WM-MoE: Weather-aware Multi-scale Mixture-of-Experts for Blind Adverse Weather Removal
- arxiv url: http://arxiv.org/abs/2303.13739v2
- Date: Thu, 4 Apr 2024 02:36:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 20:51:58.977973
- Title: WM-MoE: Weather-aware Multi-scale Mixture-of-Experts for Blind Adverse Weather Removal
- Title(参考訳): WM-MoE:Blind 逆気象除去のための気象対応マルチスケール混合機
- Authors: Yulin Luo, Rui Zhao, Xiaobao Wei, Jinwei Chen, Yijie Lu, Shenghao Xie, Tianyu Wang, Ruiqin Xiong, Ming Lu, Shanghang Zhang,
- Abstract要約: Mixture-of-Experts (MoE) は、学習可能なゲートを採用して、入力を異なる専門家ネットワークにルーティングする人気モデルである。
本稿では, 視覚障害者の視覚障害者のためのTransformer を用いた気象対応マルチスケールMOE (WM-MoE) を提案する。
本手法は,2つのパブリックデータセットとデータセットに対して,盲点悪天候除去における最先端性能を実現する。
- 参考スコア(独自算出の注目度): 38.257012295118145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adverse weather removal tasks like deraining, desnowing, and dehazing are usually treated as separate tasks. However, in practical autonomous driving scenarios, the type, intensity,and mixing degree of weather are unknown, so handling each task separately cannot deal with the complex practical scenarios. In this paper, we study the blind adverse weather removal problem. Mixture-of-Experts (MoE) is a popular model that adopts a learnable gate to route the input to different expert networks. The principle of MoE involves using adaptive networks to process different types of unknown inputs. Therefore, MoE has great potential for blind adverse weather removal. However, the original MoE module is inadequate for coupled multiple weather types and fails to utilize multi-scale features for better performance. To this end, we propose a method called Weather-aware Multi-scale MoE (WM-MoE) based on Transformer for blind weather removal. WM-MoE includes two key designs: WEather-Aware Router (WEAR) and Multi-Scale Experts (MSE). WEAR assigns experts for each image token based on decoupled content and weather features, which enhances the model's capability to process multiple adverse weathers. To obtain discriminative weather features from images, we propose Weather Guidance Fine-grained Contrastive Learning (WGF-CL), which utilizes weather cluster information to guide the assignment of positive and negative samples for each image token. Since processing different weather types requires different receptive fields, MSE leverages multi-scale features to enhance the spatial relationship modeling capability, facilitating the high-quality restoration of diverse weather types and intensities. Our method achieves state-of-the-art performance in blind adverse weather removal on two public datasets and our dataset. We also demonstrate the advantage of our method on downstream segmentation tasks.
- Abstract(参考訳): 逆の天候除去タスク(デレーニング、デリーディング、デヘイジング)は、通常は別のタスクとして扱われる。
しかし、現実的な自律運転シナリオでは、タイプ、強度、混合度は不明であり、それぞれのタスクを個別に扱うことは複雑な現実的なシナリオには対応できない。
本稿では,視覚障害者の悪天候除去問題について検討する。
Mixture-of-Experts (MoE) は、学習可能なゲートを採用して、入力を異なる専門家ネットワークにルーティングする人気モデルである。
MoEの原理は、異なるタイプの未知の入力を処理するために適応的なネットワークを使用することである。
したがって、MoEは盲点の悪天候を除去する大きな可能性を秘めている。
しかし、オリジナルのMoEモジュールは複数の気象タイプを結合するのに不適であり、性能向上のためにマルチスケール機能を利用することができない。
そこで本稿では,Transformer を用いた気象対応マルチスケールMOE (Weather-Aware Multi-scale MoE) という手法を提案する。
WM-MoEには、WEather-Aware Router (WEAR)とMulti-Scale Experts (MSE)の2つの重要な設計が含まれている。
WEARは、分離されたコンテンツと天気の特徴に基づいて、各画像トークンに専門家を割り当て、複数の悪天候を処理するモデルの能力を高める。
画像から識別可能な気象特徴を得るため,気象クラスタ情報を用いて各画像トークンに対する正と負のサンプルの割り当てを誘導する気象誘導微粒コントラスト学習(WGF-CL)を提案する。
異なる気象タイプを処理するには異なる受容場を必要とするため、MSEは様々な気象タイプや強度の高品質な復元を容易にするため、空間関係モデリング能力を高めるためにマルチスケールの特徴を活用している。
本手法は,2つのパブリックデータセットとデータセットに対して,盲点悪天候除去における最先端性能を実現する。
また、下流セグメンテーションタスクにおける手法の利点を実証する。
関連論文リスト
- Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for
Video Adverse Weather Removal [53.15046196592023]
ビデオの悪天候除去におけるテスト時間適応について紹介する。
本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-12T14:21:30Z) - Continual All-in-One Adverse Weather Removal with Knowledge Replay on a
Unified Network Structure [92.8834309803903]
現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。
我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。
連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
論文 参考訳(メタデータ) (2024-03-12T03:50:57Z) - Physical Perception Network and an All-weather Multi-modality Benchmark
for Adverse Weather Image Fusion [4.3773535988950725]
マルチモーダル画像融合(MMIF)は、異なるモーダル画像からの補完情報を統合し、シーンの包括的かつ客観的な解釈を提供する。
既存のMMIF法には、現実のシナリオで異なる気象干渉に抵抗する能力がない。
我々は,極度気象条件下でのMMIF研究のベンチマークを確立した。
論文 参考訳(メタデータ) (2024-02-03T09:02:46Z) - Always Clear Days: Degradation Type and Severity Aware All-In-One
Adverse Weather Removal [8.58670633761819]
オールインワンの悪天候除去は画像復元における新たな話題であり、統一されたモデルで複数の気象劣化を回復することを目的としている。
本稿では,視覚障害者の悪天候画像復元のための劣化型および重症度認識モデルUtilityIRを提案する。
論文 参考訳(メタデータ) (2023-10-27T17:29:55Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳(メタデータ) (2023-06-15T10:06:13Z) - Counting Crowds in Bad Weather [68.50690406143173]
本研究では,悪天候シナリオにおいて,ロバストな群集カウント手法を提案する。
モデルでは,外見のバリエーションが大きいことを考慮し,効果的な特徴と適応的なクエリを学習する。
実験の結果,提案アルゴリズムは,ベンチマークデータセット上で異なる気象条件下での群集のカウントに有効であることが示唆された。
論文 参考訳(メタデータ) (2023-06-02T00:00:09Z) - TransWeather: Transformer-based Restoration of Images Degraded by
Adverse Weather Conditions [77.20136060506906]
トランスウェザー (TransWeather) は1つのエンコーダとデコーダしか持たない変圧器を用いたエンド・ツー・エンドモデルである。
TransWeatherは、All-in-Oneネットワーク上で、複数のテストデータセット間で大幅に改善されている。
実世界のテスト画像で検証され、従来の方法よりも効果的であることが判明した。
論文 参考訳(メタデータ) (2021-11-29T18:57:09Z) - RiWNet: A moving object instance segmentation Network being Robust in
adverse Weather conditions [13.272209740926156]
我々は、ネットワークの構造設計を通じて、気象干渉に対するレジリエンスを改善する新しい可能性に焦点を当てる。
本稿では,プログレッシブなトップダウンインタラクションとアテンションリファインメントモジュールを備えた,RiWFPNと呼ばれる新しいFPN構造を提案する。
我々は,映像中の時間情報をキャプチャして動作情報を学習するためにSOLOV2を拡張し,RiWNetと呼ばれるRiWFPNを用いた移動オブジェクトインスタンスセグメンテーションネットワークを提案する。
論文 参考訳(メタデータ) (2021-09-04T08:55:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。