論文の概要: WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in
Adverse Weather
- arxiv url: http://arxiv.org/abs/2312.09534v1
- Date: Fri, 15 Dec 2023 04:57:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 17:15:15.751195
- Title: WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in
Adverse Weather
- Title(参考訳): WeatherProof: 逆気象におけるセマンティックセグメンテーションに対するペアデータセットアプローチ
- Authors: Blake Gella, Howard Zhang, Rishi Upadhyay, Tiffany Chang, Matthew
Waliman, Yunhao Ba, Alex Wong, Achuta Kadambi
- Abstract要約: 本稿では,悪天候条件下での画像の性能向上につながる一般的なペア学習手法を提案する。
我々は、正確な晴天と悪天候画像のペアで、最初のセマンティックセグメンテーションデータセットを作成する。
その結果,これら2組の晴天フレームと悪天候フレームのトレーニングにより,悪天候データの性能が向上することが判明した。
- 参考スコア(独自算出の注目度): 9.619700283574533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The introduction of large, foundational models to computer vision has led to
drastically improved performance on the task of semantic segmentation. However,
these existing methods exhibit a large performance drop when testing on images
degraded by weather conditions such as rain, fog, or snow. We introduce a
general paired-training method that can be applied to all current foundational
model architectures that leads to improved performance on images in adverse
weather conditions. To this end, we create the WeatherProof Dataset, the first
semantic segmentation dataset with accurate clear and adverse weather image
pairs, which not only enables our new training paradigm, but also improves the
evaluation of the performance gap between clear and degraded segmentation. We
find that training on these paired clear and adverse weather frames which share
an underlying scene results in improved performance on adverse weather data.
With this knowledge, we propose a training pipeline which accentuates the
advantages of paired-data training using consistency losses and language
guidance, which leads to performance improvements by up to 18.4% as compared to
standard training procedures.
- Abstract(参考訳): コンピュータビジョンへの大規模な基礎モデルの導入により、セマンティックセグメンテーションのタスクにおける性能が大幅に向上した。
しかし、これらの既存手法は、雨や霧、雪などの気象条件によって劣化した画像をテストする際に大きな性能低下を示す。
本稿では,現在の基盤モデルアーキテクチャすべてに適用可能な一般的なペア学習手法を提案する。
そこで本研究では,新しい学習パラダイムを実現するだけでなく,クリアセグメントとデグレードセグメンテーション間のパフォーマンスギャップの評価を改善するため,正確かつ悪天候イメージペアを用いた最初のセグメンテーションデータセットであるweatherproof datasetを作成した。
その結果,これら2組の晴天フレームと悪天候フレームのトレーニングにより,悪天候データの性能が向上することが判明した。
この知識を活かして,一貫性損失と言語指導を用いたペアデータトレーニングの利点を強調し,標準的なトレーニング手順と比較して最大18.4%パフォーマンス改善を実現したトレーニングパイプラインを提案する。
関連論文リスト
- Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for
Video Adverse Weather Removal [53.15046196592023]
ビデオの悪天候除去におけるテスト時間適応について紹介する。
本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-12T14:21:30Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳(メタデータ) (2023-11-30T08:22:08Z) - Adaptive-Labeling for Enhancing Remote Sensing Cloud Understanding [40.572147431473034]
我々は、トレーニングデータアノテーションの品質を高めるために反復的に運用される、革新的なモデルに依存しないCloud Adaptive-Labeling(CAL)アプローチを導入する。
本手法は,クラウドセグメンテーションモデルをオリジナルのアノテーションを用いてトレーニングすることで開始する。
トレーニング可能なピクセル強度閾値を導入し、雲のトレーニング画像をリアルタイムでアダプティブにラベル付けする。
新たに生成されたラベルはモデルを微調整するために使用される。
論文 参考訳(メタデータ) (2023-11-09T08:23:45Z) - Learning Real-World Image De-Weathering with Imperfect Supervision [57.748585821252824]
既存の現実世界のデヒータリングデータセットは、接地トラス画像と入力された劣化画像の間に、一貫性のない照明、位置、テクスチャを示すことが多い。
我々は、入力劣化画像と可能な限り一貫性のある擬似ラベルを生成するための一貫性ラベルコンストラクタ(CLC)を開発した。
我々は,従来の不完全ラベルと擬似ラベルを組み合わせることで,情報割当戦略による脱ウェザリングモデルを共同で監督する。
論文 参考訳(メタデータ) (2023-10-23T14:02:57Z) - WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth
Estimation under Adverse Weather Conditions [45.15128258200185]
カリキュラムのコントラスト学習による自己教師付き頑健な深度推定モデルであるWeatherDepthを提案する。
提案手法は様々なアーキテクチャに容易に組み込めることが証明され、合成および実際の気象データセット上での最先端(SoTA)性能を示す。
論文 参考訳(メタデータ) (2023-10-09T09:26:27Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳(メタデータ) (2023-06-15T10:06:13Z) - Counting Crowds in Bad Weather [68.50690406143173]
本研究では,悪天候シナリオにおいて,ロバストな群集カウント手法を提案する。
モデルでは,外見のバリエーションが大きいことを考慮し,効果的な特徴と適応的なクエリを学習する。
実験の結果,提案アルゴリズムは,ベンチマークデータセット上で異なる気象条件下での群集のカウントに有効であることが示唆された。
論文 参考訳(メタデータ) (2023-06-02T00:00:09Z) - DL-Corrector-Remapper: A grid-free bias-correction deep learning
methodology for data-driven high-resolution global weather forecasting [11.334341754942917]
我々はFourCastNet(FCN)の一様予測を補正し、再マップし、微調整する手法を開発した。
これは、数値天気予報(NWP)のバイアス補正と後処理に似ている
私たちはこのネットワークをDLCR(Deep-Learning-Corrector-Remapper)と呼ぶ。
論文 参考訳(メタデータ) (2022-10-21T23:04:44Z) - Unsupervised Restoration of Weather-affected Images using Deep Gaussian
Process-based CycleGAN [92.15895515035795]
本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。
我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。
提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
論文 参考訳(メタデータ) (2022-04-23T01:30:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。