論文の概要: WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in Adverse Weather

• arxiv url: http://arxiv.org/abs/2312.09534v1
• Date: Fri, 15 Dec 2023 04:57:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 17:15:15.751195
• Title: WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in Adverse Weather
• Title（参考訳）: WeatherProof: 逆気象におけるセマンティックセグメンテーションに対するペアデータセットアプローチ
• Authors: Blake Gella, Howard Zhang, Rishi Upadhyay, Tiffany Chang, Matthew Waliman, Yunhao Ba, Alex Wong, Achuta Kadambi
• Abstract要約: 本稿では,悪天候条件下での画像の性能向上につながる一般的なペア学習手法を提案する。 我々は、正確な晴天と悪天候画像のペアで、最初のセマンティックセグメンテーションデータセットを作成する。 その結果,これら2組の晴天フレームと悪天候フレームのトレーニングにより,悪天候データの性能が向上することが判明した。
• 参考スコア（独自算出の注目度）: 9.619700283574533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The introduction of large, foundational models to computer vision has led to drastically improved performance on the task of semantic segmentation. However, these existing methods exhibit a large performance drop when testing on images degraded by weather conditions such as rain, fog, or snow. We introduce a general paired-training method that can be applied to all current foundational model architectures that leads to improved performance on images in adverse weather conditions. To this end, we create the WeatherProof Dataset, the first semantic segmentation dataset with accurate clear and adverse weather image pairs, which not only enables our new training paradigm, but also improves the evaluation of the performance gap between clear and degraded segmentation. We find that training on these paired clear and adverse weather frames which share an underlying scene results in improved performance on adverse weather data. With this knowledge, we propose a training pipeline which accentuates the advantages of paired-data training using consistency losses and language guidance, which leads to performance improvements by up to 18.4% as compared to standard training procedures.
• Abstract（参考訳）: コンピュータビジョンへの大規模な基礎モデルの導入により、セマンティックセグメンテーションのタスクにおける性能が大幅に向上した。 しかし、これらの既存手法は、雨や霧、雪などの気象条件によって劣化した画像をテストする際に大きな性能低下を示す。 本稿では,現在の基盤モデルアーキテクチャすべてに適用可能な一般的なペア学習手法を提案する。 そこで本研究では,新しい学習パラダイムを実現するだけでなく,クリアセグメントとデグレードセグメンテーション間のパフォーマンスギャップの評価を改善するため,正確かつ悪天候イメージペアを用いた最初のセグメンテーションデータセットであるweatherproof datasetを作成した。 その結果,これら2組の晴天フレームと悪天候フレームのトレーニングにより,悪天候データの性能が向上することが判明した。 この知識を活かして,一貫性損失と言語指導を用いたペアデータトレーニングの利点を強調し,標準的なトレーニング手順と比較して最大18.4%パフォーマンス改善を実現したトレーニングパイプラインを提案する。

関連論文リスト

• SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal [57.52777076116241]
  逆天候除去は、悪天候下で透明な視界を回復することを目的としている。 本稿では教師ネットワーク上に構築された半教師付きオールインワン悪天候除去フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-29T12:12:22Z)
• Towards Real-World Adverse Weather Image Restoration: Enhancing Clearness and Semantics with Vision-Language Models [85.53913950137175]
  実環境下での復元性能を高めるために,視覚言語モデルを用いた半教師付き学習フレームワークを定式化する。 クリアネス向上のために、視覚言語モデルと天気予報学習によって評価された擬似ラベルを用いた2段階戦略を用いて、実世界のデータを利用する。 セマンティックエンハンスメントのために,意味を保ちながら視覚言語モデル記述の天気条件を調整し,実世界のデータを統合する。
  論文  参考訳（メタデータ） (2024-09-03T17:56:51Z)
• Boosting Adverse Weather Crowd Counting via Multi-queue Contrastive Learning [8.692139673789555]
  本研究では,悪天候下でのモデルの堅牢性を高めるために,2段階の群集カウント手法を提案する。 第1段階では、気象クラス不均衡の問題に対処するために、マルチキューのMoCoコントラスト学習戦略を導入する。 第2段階では、コントラスト学習の指導の下で表現を洗練し、天気予知表現を通常の気象領域に変換することを提案する。
  論文  参考訳（メタデータ） (2024-08-12T07:13:08Z)
• Rethinking Data Augmentation for Robust LiDAR Semantic Segmentation in Adverse Weather [21.040167521248772]
  既存のLiDARセマンティックセグメンテーション手法は、悪天候下での性能低下に苦慮することが多い。 これまでの研究は、悪天候をシミュレートしたり、トレーニング中に普遍的なデータ拡張を採用することでこの問題に対処してきた。 本稿では,性能劣化の主な原因を特定するために,新たな戦略データ拡張手法を提案する。 提案手法はセマンティックKITTI-to-SemanticSTFベンチマークで39.5 mIoUを達成し,ベースラインを8.1%改善し,新たな最先端技術を確立した。
  論文  参考訳（メタデータ） (2024-07-02T14:19:51Z)
• WeatherProof: Leveraging Language Guidance for Semantic Segmentation in Adverse Weather [8.902960772665482]
  本研究では,悪天候下で撮影された画像からセマンティックセグメンテーションマップを推定する方法を提案する。 まず、雨や霧、雪などの気象条件によって劣化した画像の既存のモデルを調べる。 気象画像の正当性を考慮した最初のセマンティックセマンティックセグメンテーションデータセットであるWeatherProofを提案する。
  論文  参考訳（メタデータ） (2024-03-21T22:46:27Z)
• Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal [53.15046196592023]
  ビデオの悪天候除去におけるテスト時間適応について紹介する。 本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:21:30Z)
• Learning Real-World Image De-Weathering with Imperfect Supervision [57.748585821252824]
  既存の現実世界のデヒータリングデータセットは、接地トラス画像と入力された劣化画像の間に、一貫性のない照明、位置、テクスチャを示すことが多い。 我々は、入力劣化画像と可能な限り一貫性のある擬似ラベルを生成するための一貫性ラベルコンストラクタ(CLC)を開発した。 我々は,従来の不完全ラベルと擬似ラベルを組み合わせることで,情報割当戦略による脱ウェザリングモデルを共同で監督する。
  論文  参考訳（メタデータ） (2023-10-23T14:02:57Z)
• WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions [42.99525455786019]
  カリキュラムのコントラスト学習による自己教師付き頑健な深度推定モデルであるWeatherDepthを提案する。 提案手法は様々なアーキテクチャに容易に組み込めることが証明され、合成および実際の気象データセット上での最先端(SoTA)性能を示す。
  論文  参考訳（メタデータ） (2023-10-09T09:26:27Z)
• Counting Crowds in Bad Weather [68.50690406143173]
  本研究では,悪天候シナリオにおいて,ロバストな群集カウント手法を提案する。 モデルでは,外見のバリエーションが大きいことを考慮し,効果的な特徴と適応的なクエリを学習する。 実験の結果,提案アルゴリズムは,ベンチマークデータセット上で異なる気象条件下での群集のカウントに有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-02T00:00:09Z)
• Unsupervised Restoration of Weather-affected Images using Deep Gaussian Process-based CycleGAN [92.15895515035795]
  本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。 我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。 提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
  論文  参考訳（メタデータ） (2022-04-23T01:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。