論文の概要: WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions

• arxiv url: http://arxiv.org/abs/2310.05556v2
• Date: Sun, 17 Mar 2024 05:53:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 03:32:38.130353
• Title: WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions
• Title（参考訳）: 気象深度:逆気象条件下における自己監督深度推定のためのカリキュラムコントラスト学習
• Authors: Jiyuan Wang, Chunyu Lin, Lang Nie, Shujun Huang, Yao Zhao, Xing Pan, Rui Ai,
• Abstract要約: カリキュラムのコントラスト学習による自己教師付き頑健な深度推定モデルであるWeatherDepthを提案する。 提案手法は様々なアーキテクチャに容易に組み込めることが証明され、合成および実際の気象データセット上での最先端(SoTA)性能を示す。
• 参考スコア（独自算出の注目度）: 42.99525455786019
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Depth estimation models have shown promising performance on clear scenes but fail to generalize to adverse weather conditions due to illumination variations, weather particles, etc. In this paper, we propose WeatherDepth, a self-supervised robust depth estimation model with curriculum contrastive learning, to tackle performance degradation in complex weather conditions. Concretely, we first present a progressive curriculum learning scheme with three simple-to-complex curricula to gradually adapt the model from clear to relative adverse, and then to adverse weather scenes. It encourages the model to gradually grasp beneficial depth cues against the weather effect, yielding smoother and better domain adaption. Meanwhile, to prevent the model from forgetting previous curricula, we integrate contrastive learning into different curricula. By drawing reference knowledge from the previous course, our strategy establishes a depth consistency constraint between different courses toward robust depth estimation in diverse weather. Besides, to reduce manual intervention and better adapt to different models, we designed an adaptive curriculum scheduler to automatically search for the best timing for course switching. In the experiment, the proposed solution is proven to be easily incorporated into various architectures and demonstrates state-of-the-art (SoTA) performance on both synthetic and real weather datasets. Source code and data are available at \url{https://github.com/wangjiyuan9/WeatherDepth}.
• Abstract（参考訳）: 深度推定モデルでは、鮮明な場面で有望な性能を示したが、照明の変動や天候粒子等による悪天候条件の一般化には至らなかった。 本稿では,複雑な気象条件下での性能劣化に対処するために,カリキュラムのコントラスト学習を用いた自己教師型頑健度推定モデルであるWeatherDepthを提案する。 具体的には,まず3つの単純・複雑カリキュラムを用いた漸進的なカリキュラム学習手法を提案する。 このモデルでは、気象効果に対して適切な深さの手がかりを徐々に把握し、よりスムーズでドメイン適応性も向上する。 一方、モデルが以前のカリキュラムを忘れないようにするため、コントラスト学習を異なるカリキュラムに統合する。 本研究の戦略は, 過去のコースから参照知識を抽出することにより, 多様な天候下での頑健な深度推定に向けて, 異なるコース間の深度一貫性の制約を確立するものである。 さらに,手作業による介入を低減し,異なるモデルへの適応性を向上するために,コース切替の最適なタイミングを自動検索する適応型カリキュラムスケジューラを設計した。 実験では,提案手法は様々なアーキテクチャに容易に組み込めることが証明され,合成および実際の気象データセット上での最先端(SoTA)性能を示す。 ソースコードとデータは \url{https://github.com/wangjiyuan9/WeatherDepth} で公開されている。

関連論文リスト

• WeatherGFM: Learning A Weather Generalist Foundation Model via In-context Learning [69.82211470647349]
  第1次一般気象基礎モデル(WeatherGFM)を紹介する。 気象理解タスクの幅広い範囲を統一的な方法で解決する。 我々のモデルは、天気予報、超解像、天気画像翻訳、後処理など、最大10の気象理解タスクを効果的に処理できる。
  論文  参考訳（メタデータ） (2024-11-08T09:14:19Z)
• Advancing Meteorological Forecasting: AI-based Approach to Synoptic Weather Map Analysis [3.686808512438363]
  本研究では,新しい事前処理手法と畳み込みオートエンコーダモデルを提案する。 このモデルでは、現在の大気条件にほぼ一致する歴史的シンフォティック気象図を認識できた。
  論文  参考訳（メタデータ） (2024-11-08T07:46:50Z)
• WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in Adverse Weather [9.619700283574533]
  本稿では,悪天候条件下での画像の性能向上につながる一般的なペア学習手法を提案する。 我々は、正確な晴天と悪天候画像のペアで、最初のセマンティックセグメンテーションデータセットを作成する。 その結果,これら2組の晴天フレームと悪天候フレームのトレーニングにより,悪天候データの性能が向上することが判明した。
  論文  参考訳（メタデータ） (2023-12-15T04:57:54Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• Robust Monocular Depth Estimation under Challenging Conditions [81.57697198031975]
  最先端のモノクル深度推定手法は、難解な照明や気象条件下では信頼性が低い。 我々はmd4allでこれらの安全クリティカルな問題に取り組む: 単純で効果的なソリューションで、悪条件と理想条件の両方で確実に機能する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:01Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• Competitive Simplicity for Multi-Task Learning for Real-Time Foggy Scene Understanding via Domain Adaptation [17.530091734327296]
  霧の多い気象条件下で,リアルタイムのセマンティックシーン理解と単眼深度推定が可能なマルチタスク学習手法を提案する。 我々のモデルはRGB色、深度、輝度の画像を密接な接続性を持つ異なるエンコーダで表現する。
  論文  参考訳（メタデータ） (2020-12-09T20:38:34Z)
• Comparison between ARIMA and Deep Learning Models for Temperature Forecasting [0.0]
  本稿では,ARIMA(Auto Regressive Integrated Average)モデルとディープラーニングモデルを比較し,温度を推定する。 実験結果によると,ディープラーニングモデルは従来のARIMA手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-11-09T14:21:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。