論文の概要: MoWE: Mixture of Weather Experts for Multiple Adverse Weather Removal
- arxiv url: http://arxiv.org/abs/2303.13739v1
- Date: Fri, 24 Mar 2023 01:46:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 16:12:52.125817
- Title: MoWE: Mixture of Weather Experts for Multiple Adverse Weather Removal
- Title(参考訳): mowe:複数の悪天候除去のための気象専門家の混合
- Authors: Yulin Luo, Rui Zhao, Xiaobao Wei, Jinwei Chen, Yijie Lu, Shenghao Xie,
Tianyu Wang, Ruiqin Xiong, Ming Lu, Shanghang Zhang
- Abstract要約: 現在、ほとんどの悪天候除去タスクは、デライニング、デリーディング、デヘイジングなど、独立して処理されている。
自律運転のシナリオでは、天候のタイプ、強度、混合度が不明であるため、分離されたタスク設定はこれらの複雑な条件をうまく扱えない。
本稿では,天気予報を意識した複雑な気象の除去を行うための新しい気象予報フレームワークであるtextbfMixture of Weather Experts (MoWE) を提案する。
- 参考スコア(独自算出の注目度): 33.164990378359526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Currently, most adverse weather removal tasks are handled independently, such
as deraining, desnowing, and dehazing. However, in autonomous driving
scenarios, the type, intensity, and mixing degree of the weather are unknown,
so the separated task setting cannot deal with these complex conditions well.
Besides, the vision applications in autonomous driving often aim at high-level
tasks, but existing weather removal methods neglect the connection between
performance on perceptual tasks and signal fidelity. To this end, in upstream
task, we propose a novel \textbf{Mixture of Weather Experts(MoWE)} Transformer
framework to handle complex weather removal in a perception-aware fashion. We
design a \textbf{Weather-aware Router} to make the experts targeted more
relevant to weather types while without the need for weather type labels during
inference. To handle diverse weather conditions, we propose \textbf{Multi-scale
Experts} to fuse information among neighbor tokens. In downstream task, we
propose a \textbf{Label-free Perception-aware Metric} to measure whether the
outputs of image processing models are suitable for high level perception tasks
without the demand for semantic labels. We collect a syntactic dataset
\textbf{MAW-Sim} towards autonomous driving scenarios to benchmark the multiple
weather removal performance of existing methods. Our MoWE achieves SOTA
performance in upstream task on the proposed dataset and two public datasets,
i.e. All-Weather and Rain/Fog-Cityscapes, and also have better perceptual
results in downstream segmentation task compared to other methods. Our codes
and datasets will be released after acceptance.
- Abstract(参考訳): 現在、ほとんどの悪天候除去タスクは、デライニング、デリーディング、デヘイジングなど、独立して処理されている。
しかし、自律運転の場合、天候の種類、強度、混合度は不明であり、分離されたタスク設定はこれらの複雑な条件をうまく扱えない。
さらに、自動運転におけるビジョンアプリケーションは、しばしば高レベルなタスクを目標としているが、既存の気象除去手法では、知覚的タスクのパフォーマンスと信号の忠実度の関係を無視している。
この目的のために,上流タスクにおいて,複雑な気象除去を扱うための新しい気象専門家(mowe)トランスフォーマフレームワークである \textbf{mixture of weather experts (mowe)を提案する。
我々は,天気予報時に天気ラベルを必要とせずに,天気予報に関係のある専門家を対象とする「気象予報ルーター」を設計した。
多様な気象条件に対処するため,我々は隣接するトークン間で情報を融合する \textbf{multi-scale experts} を提案する。
下流タスクでは, セマンティックラベルを必要とせずに, 画像処理モデルの出力が高レベルの認識タスクに適しているかを測定するために, テキストbf{Label-free Perception-aware Metric}を提案する。
我々は、既存の手法の複数の天候除去性能をベンチマークするために、自律運転シナリオに対して構文データセット \textbf{MAW-Sim} を収集する。
私たちのmoweは,提案するデータセットと2つのパブリックデータセット,すなわち全天候と降雨/フォグ・シティスケープにおける上流タスクにおけるsoma性能を実現し,他の手法と比較して下流セグメンテーションタスクにおける知覚結果も向上する。
私たちのコードとデータセットは受け入れてからリリースされます。
関連論文リスト
- Learning Real-World Image De-Weathering with Imperfect Supervision [57.748585821252824]
既存の現実世界のデヒータリングデータセットは、接地トラス画像と入力された劣化画像の間に、一貫性のない照明、位置、テクスチャを示すことが多い。
我々は、入力劣化画像と可能な限り一貫性のある擬似ラベルを生成するための一貫性ラベルコンストラクタ(CLC)を開発した。
我々は,従来の不完全ラベルと擬似ラベルを組み合わせることで,情報割当戦略による脱ウェザリングモデルを共同で監督する。
論文 参考訳(メタデータ) (2023-10-23T14:02:57Z) - Self-supervised Monocular Depth Estimation: Let's Talk About The Weather [2.836066255205732]
現在の自己監督型深度推定アーキテクチャは、深層ニューラルネットワークをトレーニングするために、晴れた晴れた天気のシーンに依存している。
本稿では,この問題を解決するために拡張を用いた手法を提案する。
我々は,提案手法であるRobust-Depthが,KITTIデータセット上でSotA性能を達成することを示すため,広範囲なテストを行う。
論文 参考訳(メタデータ) (2023-07-17T09:50:03Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳(メタデータ) (2023-06-15T10:06:13Z) - Sit Back and Relax: Learning to Drive Incrementally in All Weather
Conditions [16.014293219912]
自律走行シナリオでは、現在の物体検出モデルは、晴れた天候でテストした場合に強い性能を示す。
天気予報ネットワークのアフィンパラメータのみを異なる気象条件に適応させるために, DILAM(Domain-Incremental Learning through Activation Matching)を提案する。
私たちのメモリバンクは非常に軽量で、アフィンパラメータは典型的な物体検出器の2%以下である。
論文 参考訳(メタデータ) (2023-05-30T11:37:41Z) - Multi-Echo Denoising in Adverse Weather [1.8563342761346613]
逆天候は光検出・測光(LiDAR)データにノイズを引き起こすことがある。
目的は、興味の対象を表すエコーを選択し、他のエコーを捨てることである。
本稿では,新しい自己教師型深層学習法と特徴類似性正規化法を提案し,その性能を向上する。
論文 参考訳(メタデータ) (2023-05-23T12:40:28Z) - SHIFT: A Synthetic Driving Dataset for Continuous Multi-Task Domain
Adaptation [152.60469768559878]
ShiFTは、自動運転のための最大規模のマルチタスク合成データセットである。
曇り、雨と霧の強さ、昼の時間、車と歩行者の密度を個別に連続的に変化させる。
私たちのデータセットとベンチマークツールキットはwww.vis.xyz/shift.comで公開されています。
論文 参考訳(メタデータ) (2022-06-16T17:59:52Z) - TransWeather: Transformer-based Restoration of Images Degraded by
Adverse Weather Conditions [77.20136060506906]
トランスウェザー (TransWeather) は1つのエンコーダとデコーダしか持たない変圧器を用いたエンド・ツー・エンドモデルである。
TransWeatherは、All-in-Oneネットワーク上で、複数のテストデータセット間で大幅に改善されている。
実世界のテスト画像で検証され、従来の方法よりも効果的であることが判明した。
論文 参考訳(メタデータ) (2021-11-29T18:57:09Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳(メタデータ) (2021-07-14T21:10:47Z) - Robustness of Object Detectors in Degrading Weather Conditions [7.91378990016322]
自律走行のための最先端の物体検出システムは、晴天条件下で有望な結果を達成する。
これらのシステムは、雨や霧、雪などの気象条件の悪化に対処する必要がある。
ほとんどのアプローチは、晴天のシーンのみからなるKITTIデータセットでのみ評価される。
論文 参考訳(メタデータ) (2021-06-16T13:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。