論文の概要: Enhancing Autonomous Vehicle Perception in Adverse Weather through Image Augmentation during Semantic Segmentation Training
- arxiv url: http://arxiv.org/abs/2408.07239v1
- Date: Wed, 14 Aug 2024 00:08:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 14:35:46.742429
- Title: Enhancing Autonomous Vehicle Perception in Adverse Weather through Image Augmentation during Semantic Segmentation Training
- Title（参考訳）: セマンティックセグメンテーション訓練中の画像増強による逆気象下での自律走行車両知覚の促進
- Authors: Ethan Kou, Noah Curran,
- Abstract要約: 我々は,エンコーダ・デコーダUNetモデルを訓練し,セマンティックセグメンテーション拡張を行った。
天気データに基づいてトレーニングされたモデルは、晴れた日を除いて、すべての条件でトレーニングされたデータよりも著しく損失が小さい。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Robust perception is crucial in autonomous vehicle navigation and localization. Visual processing tasks, like semantic segmentation, should work in varying weather conditions and during different times of day. Semantic segmentation is where each pixel is assigned a class, which is useful for locating overall features (1). Training a segmentation model requires large amounts of data, and the labeling process for segmentation data is especially tedious. Additionally, many large datasets include only images taken in clear weather. This is a problem because training a model exclusively on clear weather data hinders performance in adverse weather conditions like fog or rain. We hypothesize that given a dataset of only clear days images, applying image augmentation (such as random rain, fog, and brightness) during training allows for domain adaptation to diverse weather conditions. We used CARLA, a 3D realistic autonomous vehicle simulator, to collect 1200 images in clear weather composed of 29 classes from 10 different towns (2). We also collected 1200 images of random weather effects. We trained encoder-decoder UNet models to perform semantic segmentation. Applying augmentations significantly improved segmentation under weathered night conditions (p < 0.001). However, models trained on weather data have significantly lower losses than those trained on augmented data in all conditions except for clear days. This shows there is room for improvement in the domain adaptation approach. Future work should test more types of augmentations and also use real-life images instead of CARLA. Ideally, the augmented model meets or exceeds the performance of the weather model.
- Abstract（参考訳）: 自動運転車のナビゲーションとローカライゼーションには、ロバストな認識が不可欠だ。
セマンティックセグメンテーションのような視覚処理タスクは、異なる天候条件と異なる時間帯で機能するべきである。
セマンティックセグメンテーション(Semantic segmentation)とは,各ピクセルがクラスに割り当てられる部分である。
セグメンテーションモデルのトレーニングには大量のデータが必要であり、セグメンテーションデータのラベル付けプロセスは特に面倒である。
加えて、多くの大きなデータセットには、晴れた天候で撮影された画像のみが含まれる。
これは、澄んだ気象データのみにモデルを訓練することは、霧や雨のような悪天候下での性能を妨げるためである。
トレーニング中の画像増強(ランダム雨、霧、明るさなど)を適用することで、さまざまな気象条件にドメインが適応できるという仮説を立てる。
我々は、CARLAという3次元現実的な自動運転車シミュレータを用いて、10の異なる町から29のクラスからなる晴天時の1200枚の画像を収集した((2))。
また,無作為な気象効果の1200枚の画像も収集した。
セマンティックセグメンテーションを行うために,エンコーダデコーダUNetモデルを訓練した。
降雨条件下でのセグメンテーションは有意に改善した(p < 0.001)。
しかし、天気データに基づいてトレーニングされたモデルは、晴れた日を除いて、すべての条件でトレーニングされたデータよりも著しく損失が小さい。
これは、ドメイン適応アプローチを改善する余地があることを示しています。
今後の作業では、より多くの種類の拡張をテストし、CARLAの代わりに実際のイメージを使用する予定だ。
理想的には、拡張モデルは気象モデルの性能を満たすか超える。
関連論文リスト
- WeatherProof: Leveraging Language Guidance for Semantic Segmentation in Adverse Weather [8.902960772665482]
本研究では,悪天候下で撮影された画像からセマンティックセグメンテーションマップを推定する方法を提案する。
まず、雨や霧、雪などの気象条件によって劣化した画像の既存のモデルを調べる。
気象画像の正当性を考慮した最初のセマンティックセマンティックセグメンテーションデータセットであるWeatherProofを提案する。
論文 参考訳（メタデータ） (2024-03-21T22:46:27Z) - WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in
Adverse Weather [9.619700283574533]
本稿では,悪天候条件下での画像の性能向上につながる一般的なペア学習手法を提案する。
我々は、正確な晴天と悪天候画像のペアで、最初のセマンティックセグメンテーションデータセットを作成する。
その結果,これら2組の晴天フレームと悪天候フレームのトレーニングにより,悪天候データの性能が向上することが判明した。
論文 参考訳（メタデータ） (2023-12-15T04:57:54Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳（メタデータ） (2023-06-15T10:06:13Z) - Counting Crowds in Bad Weather [68.50690406143173]
本研究では,悪天候シナリオにおいて,ロバストな群集カウント手法を提案する。
モデルでは,外見のバリエーションが大きいことを考慮し,効果的な特徴と適応的なクエリを学習する。
実験の結果,提案アルゴリズムは,ベンチマークデータセット上で異なる気象条件下での群集のカウントに有効であることが示唆された。
論文 参考訳（メタデータ） (2023-06-02T00:00:09Z) - ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural
Rendering [83.75284107397003]
本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。
本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。
マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-05-03T13:24:06Z) - Efficient Semantic Segmentation on Edge Devices [7.5562201794440185]
本研究は,災害時の緊急応答にこれらのモデルを適用する可能性を検討するために,現在のセマンティックセマンティックセマンティクスモデルを解析する。
実時間セマンティックセグメンテーションモデルと非実時間セマンティックセグメンテーションモデルの性能を, 対向条件下での空中画像によって制約された非実時間セマンティックセグメンテーションモデルと比較する。
さらに,Hurricane Harveyの後に捉えたUAV画像を含むFlood-Netデータセット上で,複数のモデルをトレーニングし,浸水した建物と非流出した建物と浸水した道路と非流出した道路とをベンチマークした。
論文 参考訳（メタデータ） (2022-12-28T04:13:11Z) - Synthetic Data for Object Classification in Industrial Applications [53.180678723280145]
オブジェクト分類では、オブジェクトごとに、異なる条件下で、多数の画像を取得することは必ずしも不可能である。
本研究は,学習データセット内の限られたデータに対処するゲームエンジンを用いた人工画像の作成について検討する。
論文 参考訳（メタデータ） (2022-12-09T11:43:04Z) - An Efficient Domain-Incremental Learning Approach to Drive in All
Weather Conditions [8.436505917796174]
ディープニューラルネットワークは、自律運転のための印象的な視覚知覚性能を実現する。
彼らは、異なる気象条件に適応する際に、以前に学んだ情報を忘れがちである。
DISC -- 統計的補正によるドメインインクリメンタル - 新しいタスクを漸進的に学習できるシンプルなゼロフォゲッティングアプローチを提案する。
論文 参考訳（メタデータ） (2022-04-19T11:39:20Z) - TransWeather: Transformer-based Restoration of Images Degraded by
Adverse Weather Conditions [77.20136060506906]
トランスウェザー (TransWeather) は1つのエンコーダとデコーダしか持たない変圧器を用いたエンド・ツー・エンドモデルである。
TransWeatherは、All-in-Oneネットワーク上で、複数のテストデータセット間で大幅に改善されている。
実世界のテスト画像で検証され、従来の方法よりも効果的であることが判明した。
論文 参考訳（メタデータ） (2021-11-29T18:57:09Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳（メタデータ） (2021-07-14T21:10:47Z) - Weather and Light Level Classification for Autonomous Driving: Dataset,
Baseline and Active Learning [0.6445605125467573]
気象(fog,雨,雪)の分類と光度(ブライト,中等,低)の分類のための新しいデータセットを構築した。
それぞれの画像には、天気、光度、街路に対応した3つのラベルがある。
データセットの冗長性を低減し、モデルのトレーニングに最適なフレームセットを見つけるために、アクティブな学習フレームワークを実装します。
論文 参考訳（メタデータ） (2021-04-28T22:53:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。