論文の概要: WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth
Estimation under Adverse Weather Conditions
- arxiv url: http://arxiv.org/abs/2310.05556v1
- Date: Mon, 9 Oct 2023 09:26:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 06:42:03.977220
- Title: WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth
Estimation under Adverse Weather Conditions
- Title(参考訳): weatherdepth: 気象条件下での自己教師あり深さ推定のためのカリキュラムコントラスト学習
- Authors: Jiyuan Wang, Chunyu Lin, Lang Nie, Shujun Huang, Yao Zhao, Xing Pan
and Rui Ai
- Abstract要約: カリキュラムのコントラスト学習による自己教師付き頑健な深度推定モデルであるWeatherDepthを提案する。
提案手法は様々なアーキテクチャに容易に組み込めることが証明され、合成および実際の気象データセット上での最先端(SoTA)性能を示す。
- 参考スコア(独自算出の注目度): 45.15128258200185
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Depth estimation models have shown promising performance on clear scenes but
fail to generalize to adverse weather conditions due to illumination
variations, weather particles, etc. In this paper, we propose WeatherDepth, a
self-supervised robust depth estimation model with curriculum contrastive
learning, to tackle performance degradation in complex weather conditions.
Concretely, we first present a progressive curriculum learning scheme with
three simple-to-complex curricula to gradually adapt the model from clear to
relative adverse, and then to adverse weather scenes. It encourages the model
to gradually grasp beneficial depth cues against the weather effect, yielding
smoother and better domain adaption. Meanwhile, to prevent the model from
forgetting previous curricula, we integrate contrastive learning into different
curricula. Drawn the reference knowledge from the previous course, our strategy
establishes a depth consistency constraint between different courses towards
robust depth estimation in diverse weather. Besides, to reduce manual
intervention and better adapt to different models, we designed an adaptive
curriculum scheduler to automatically search for the best timing for course
switching. In the experiment, the proposed solution is proven to be easily
incorporated into various architectures and demonstrates state-of-the-art
(SoTA) performance on both synthetic and real weather datasets.
- Abstract(参考訳): 深度推定モデルは明快な場面で有望な性能を示したが、照明の変動や気象粒子などによる悪天候条件への一般化には至っていない。
本稿では,複雑な気象条件下での性能劣化に対処するために,カリキュラムのコントラスト学習を用いた自己教師型頑健度推定モデルであるWeatherDepthを提案する。
具体的には,まず3つの単純・複雑カリキュラムを用いた漸進的なカリキュラム学習手法を提案する。
このモデルでは、気象効果に対して適切な深さの手がかりを徐々に把握し、より滑らかでドメイン適応性が向上する。
一方、モデルが以前のカリキュラムを忘れないように、コントラスト学習を異なるカリキュラムに統合する。
従来からの参考知識を引用し, 多様な気象条件下での頑健な深度推定に向けて, 異なるコース間の深度一貫性の制約を確立する。
さらに,手作業による介入を低減し,異なるモデルへの適応性を向上するために,コース切替の最適なタイミングを自動検索する適応型カリキュラムスケジューラを設計した。
実験では,提案手法は様々なアーキテクチャに容易に組み込めることが証明され,合成および実際の気象データセット上での最先端(SoTA)性能を示す。
関連論文リスト
- Continual All-in-One Adverse Weather Removal with Knowledge Replay on a
Unified Network Structure [92.8834309803903]
現実の応用では、悪天候による画像の劣化は常に複雑で、日や季節によって異なる気象条件で変化する。
我々は,ネットワーク構造を統一した上で,効果的な知識再生(KR)を実現するための新しい連続学習フレームワークを開発した。
連続学習における複数の退化を伴う画像復元作業の特徴を考察し、異なる退化に関する知識を共有・蓄積することができる。
論文 参考訳(メタデータ) (2024-03-12T03:50:57Z) - Semantic Segmentation in Multiple Adverse Weather Conditions with Domain
Knowledge Retention [30.442998370823002]
教師なし領域適応は、悪天候に対するモデルの適応性と堅牢性を高めるための潜在的アプローチである。
本稿では,適応的な知識獲得,擬似ラベルブレンディング,気象構成のリプレイを取り入れた,複数の悪天候条件に対するセマンティックセグメンテーション手法を提案する。
提案手法は, 常に最先端の手法より優れており, 平均mIoU (%) の65.7で最高の性能が得られる。
論文 参考訳(メタデータ) (2024-01-15T04:08:53Z) - WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in
Adverse Weather [9.619700283574533]
本稿では,悪天候条件下での画像の性能向上につながる一般的なペア学習手法を提案する。
我々は、正確な晴天と悪天候画像のペアで、最初のセマンティックセグメンテーションデータセットを作成する。
その結果,これら2組の晴天フレームと悪天候フレームのトレーニングにより,悪天候データの性能が向上することが判明した。
論文 参考訳(メタデータ) (2023-12-15T04:57:54Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳(メタデータ) (2023-11-30T08:22:08Z) - Robust Monocular Depth Estimation under Challenging Conditions [81.57697198031975]
最先端のモノクル深度推定手法は、難解な照明や気象条件下では信頼性が低い。
我々はmd4allでこれらの安全クリティカルな問題に取り組む: 単純で効果的なソリューションで、悪条件と理想条件の両方で確実に機能する。
論文 参考訳(メタデータ) (2023-08-18T17:59:01Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳(メタデータ) (2023-06-20T03:02:14Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳(メタデータ) (2023-06-15T10:06:13Z) - Competitive Simplicity for Multi-Task Learning for Real-Time Foggy Scene
Understanding via Domain Adaptation [17.530091734327296]
霧の多い気象条件下で,リアルタイムのセマンティックシーン理解と単眼深度推定が可能なマルチタスク学習手法を提案する。
我々のモデルはRGB色、深度、輝度の画像を密接な接続性を持つ異なるエンコーダで表現する。
論文 参考訳(メタデータ) (2020-12-09T20:38:34Z) - Comparison between ARIMA and Deep Learning Models for Temperature
Forecasting [0.0]
本稿では,ARIMA(Auto Regressive Integrated Average)モデルとディープラーニングモデルを比較し,温度を推定する。
実験結果によると,ディープラーニングモデルは従来のARIMA手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-11-09T14:21:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。