論文の概要: Rethinking Data Augmentation for Robust LiDAR Semantic Segmentation in Adverse Weather
- arxiv url: http://arxiv.org/abs/2407.02286v3
- Date: Tue, 16 Jul 2024 06:32:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 13:24:18.220531
- Title: Rethinking Data Augmentation for Robust LiDAR Semantic Segmentation in Adverse Weather
- Title（参考訳）: 逆気象下におけるロバストLiDARセマンティックセマンティックセグメンテーションのためのデータ拡張の再考
- Authors: Junsung Park, Kyungmin Kim, Hyunjung Shim,
- Abstract要約: 既存のLiDARセマンティックセグメンテーション手法は、悪天候下での性能低下に苦慮することが多い。
これまでの研究は、悪天候をシミュレートしたり、トレーニング中に普遍的なデータ拡張を採用することでこの問題に対処してきた。
本稿では,性能劣化の主な原因を特定するために,新たな戦略データ拡張手法を提案する。
提案手法はセマンティックKITTI-to-SemanticSTFベンチマークで39.5 mIoUを達成し,ベースラインを8.1%改善し,新たな最先端技術を確立した。
- 参考スコア（独自算出の注目度）: 21.040167521248772
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Existing LiDAR semantic segmentation methods often struggle with performance declines in adverse weather conditions. Previous work has addressed this issue by simulating adverse weather or employing universal data augmentation during training. However, these methods lack a detailed analysis and understanding of how adverse weather negatively affects LiDAR semantic segmentation performance. Motivated by this issue, we identified key factors of adverse weather and conducted a toy experiment to pinpoint the main causes of performance degradation: (1) Geometric perturbation due to refraction caused by fog or droplets in the air and (2) Point drop due to energy absorption and occlusions. Based on these findings, we propose new strategic data augmentation techniques. First, we introduced a Selective Jittering (SJ) that jitters points in the random range of depth (or angle) to mimic geometric perturbation. Additionally, we developed a Learnable Point Drop (LPD) to learn vulnerable erase patterns with a Deep Q-Learning Network to approximate the point drop phenomenon from adverse weather conditions. Without precise weather simulation, these techniques strengthen the LiDAR semantic segmentation model by exposing it to vulnerable conditions identified by our data-centric analysis. Experimental results confirmed the suitability of the proposed data augmentation methods for enhancing robustness against adverse weather conditions. Our method achieves a notable 39.5 mIoU on the SemanticKITTI-to-SemanticSTF benchmark, improving the baseline by 8.1\%p and establishing a new state-of-the-art. Our code will be released at \url{https://github.com/engineerJPark/LiDARWeather}.
- Abstract（参考訳）: 既存のLiDARセマンティックセグメンテーション手法は、悪天候下での性能低下に苦慮することが多い。
これまでの研究は、悪天候をシミュレートしたり、トレーニング中に普遍的なデータ拡張を採用することでこの問題に対処してきた。
しかし、これらの手法は、悪天候がLiDARセマンティックセグメンテーション性能に悪影響を及ぼすか、詳細な分析と理解を欠いている。
本研究では, 大気中の霧や液滴による屈折による幾何学的摂動と, エネルギー吸収と閉塞による点降下の2つの要因を同定し, 性能劣化の主な原因を特定するための玩具実験を行った。
これらの知見に基づいて,新たな戦略的データ拡張手法を提案する。
まず、幾何学的摂動を模倣するために、ランダムな深さ(または角度)の点を揺らぐ選択ジッタリング(SJ)を紹介した。
さらに,悪天候下での点滴現象を近似するために,Deep Q-Learning Networkを用いて脆弱な消去パターンを学習するLearningable Point Drop (LPD)を開発した。
これらの手法は、正確な気象シミュレーションを伴わず、データ中心分析によって同定された脆弱な条件に晒すことにより、LiDARセマンティックセマンティックセマンティックセマンティクスモデルを強化する。
実験により, 悪天候に対するロバスト性を高めるため, 提案手法の適合性を確認した。
提案手法はセマンティックKITTI-to-SemanticSTFベンチマークで39.5 mIoUを達成し,ベースラインを8.1\%p改善し,新しい最先端技術を確立する。
私たちのコードは \url{https://github.com/engineerJPark/LiDARWeather} でリリースされます。
関連論文リスト
- SemiDDM-Weather: A Semi-supervised Learning Framework for All-in-one Adverse Weather Removal [57.52777076116241]
逆天候除去は、悪天候下で透明な視界を回復することを目的としている。
本稿では教師ネットワーク上に構築された半教師付きオールインワン悪天候除去フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-29T12:12:22Z) - Label-Efficient Semantic Segmentation of LiDAR Point Clouds in Adverse Weather Conditions [10.306226508237348]
逆気象条件はLiDARセンサーの性能に深刻な影響を及ぼす可能性がある。
悪天候を検出するための現在のアプローチは、大量のラベル付きデータを必要とする。
本稿では,悪天候下でのLiDAR点雲のセグメンテーションに対するラベル効率のよいアプローチを提案する。
論文 参考訳（メタデータ） (2024-06-14T10:29:00Z) - Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for
Video Adverse Weather Removal [53.15046196592023]
ビデオの悪天候除去におけるテスト時間適応について紹介する。
本稿では,テスト時間適応を反復拡散逆プロセスに統合する最初のフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-12T14:21:30Z) - WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in
Adverse Weather [9.619700283574533]
本稿では,悪天候条件下での画像の性能向上につながる一般的なペア学習手法を提案する。
我々は、正確な晴天と悪天候画像のペアで、最初のセマンティックセグメンテーションデータセットを作成する。
その結果,これら2組の晴天フレームと悪天候フレームのトレーニングにより,悪天候データの性能が向上することが判明した。
論文 参考訳（メタデータ） (2023-12-15T04:57:54Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳（メタデータ） (2023-11-30T08:22:08Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳（メタデータ） (2023-06-15T10:06:13Z) - Energy-based Detection of Adverse Weather Effects in LiDAR Data [7.924836086640871]
本稿では,LiDARデータにおける悪天候の影響を検知するための新しい手法を提案する。
提案手法では,低エネルギースコアを不整点,高エネルギースコアを不整点に関連付ける。
悪天候下でのLiDAR知覚の研究領域の拡大を支援するため、SemanticSprayデータセットをリリースする。
論文 参考訳（メタデータ） (2023-05-25T15:03:36Z) - Robust 3D Object Detection in Cold Weather Conditions [7.924836086640871]
逆気象条件はLiDARベースの物体検出器に悪影響を及ぼす可能性がある。
寒冷環境における自動車排ガスの凝縮現象に着目した。
本稿では,データ拡張と新たなトレーニング損失項を用いてこの問題を解決することを提案する。
論文 参考訳（メタデータ） (2022-05-24T09:37:07Z) - Unsupervised Restoration of Weather-affected Images using Deep Gaussian
Process-based CycleGAN [92.15895515035795]
本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。
我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。
提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
論文 参考訳（メタデータ） (2022-04-23T01:30:47Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳（メタデータ） (2021-07-14T21:10:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。