論文の概要: AllWeatherNet:Unified Image enhancement for autonomous driving under adverse weather and lowlight-conditions
- arxiv url: http://arxiv.org/abs/2409.02045v1
- Date: Tue, 3 Sep 2024 16:47:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 00:21:46.625262
- Title: AllWeatherNet:Unified Image enhancement for autonomous driving under adverse weather and lowlight-conditions
- Title（参考訳）: AllWeatherNet:悪天候と低照度環境下での自動運転のための統合画像強調
- Authors: Chenghao Qian, Mahdi Rezaei, Saeed Anwar, Wenjing Li, Tanveer Hussain, Mohsen Azarmi, Wei Wang,
- Abstract要約: 本稿では,悪条件により劣化した視覚的品質と明度を改善する方法を提案する。
我々の手法であるAllWeather-Netは、新しい階層型アーキテクチャを用いて、すべての悪条件をまたいで画像を強化する。
再学習することなく、最大3.9%のmIoU改善を達成し、未確認領域に適用することで、モデルの一般化能力を示す。
- 参考スコア（独自算出の注目度）: 24.36482818960804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adverse conditions like snow, rain, nighttime, and fog, pose challenges for autonomous driving perception systems. Existing methods have limited effectiveness in improving essential computer vision tasks, such as semantic segmentation, and often focus on only one specific condition, such as removing rain or translating nighttime images into daytime ones. To address these limitations, we propose a method to improve the visual quality and clarity degraded by such adverse conditions. Our method, AllWeather-Net, utilizes a novel hierarchical architecture to enhance images across all adverse conditions. This architecture incorporates information at three semantic levels: scene, object, and texture, by discriminating patches at each level. Furthermore, we introduce a Scaled Illumination-aware Attention Mechanism (SIAM) that guides the learning towards road elements critical for autonomous driving perception. SIAM exhibits robustness, remaining unaffected by changes in weather conditions or environmental scenes. AllWeather-Net effectively transforms images into normal weather and daytime scenes, demonstrating superior image enhancement results and subsequently enhancing the performance of semantic segmentation, with up to a 5.3% improvement in mIoU in the trained domain. We also show our model's generalization ability by applying it to unseen domains without re-training, achieving up to 3.9% mIoU improvement. Code can be accessed at: https://github.com/Jumponthemoon/AllWeatherNet.
- Abstract（参考訳）: 雪、雨、夜間、霧などの逆条件は、自律運転認識システムに課題をもたらす。
既存の方法は、セマンティックセグメンテーションのような重要なコンピュータビジョンタスクの改善に限定的な効果があり、雨の除去や夜間の画像を昼間のものに翻訳するといった特定の条件のみに焦点を当てることが多い。
これらの制約に対処するために、このような悪条件により劣化した視覚的品質と明度を改善する方法を提案する。
我々の手法であるAllWeather-Netは、新しい階層型アーキテクチャを用いて、すべての悪条件をまたいで画像を強化する。
このアーキテクチャは、各レベルでパッチを識別することで、シーン、オブジェクト、テクスチャの3つの意味レベルに情報を組み込む。
さらに、自律運転認識に不可欠な道路要素への学習を指導するSIAM(Scaled Illumination-Aware Attention Mechanism)を導入する。
SIAMは強靭性を示し、気象条件や環境条件の変化の影響を受けないままである。
AllWeather-Netは、画像を通常の天気や昼間のシーンに効果的に変換し、優れた画像強調結果を示し、その後、訓練領域におけるmIoUの最大5.3%の改善とともにセマンティックセグメンテーションの性能を向上させる。
また、再学習することなく、最大3.9%のmIoU改善を達成し、未確認領域に適用することで、モデルの一般化能力を示す。
コードは、https://github.com/Jumponthemoon/AllWeatherNet.comでアクセスすることができる。
関連論文リスト
- Real-Time Multi-Scene Visibility Enhancement for Promoting Navigational Safety of Vessels Under Complex Weather Conditions [48.529493393948435]
この可視光カメラは、インテリジェントな水上輸送システムにおいて、海洋表面の容器に不可欠なイメージングセンサーとして登場した。
視覚画像の画質は、複雑な気象条件下での様々な劣化に必然的に悩まされる。
本研究では,異なる気象条件下で撮影された劣化画像を復元する汎用多場面可視性向上手法を開発した。
論文 参考訳（メタデータ） (2024-09-02T23:46:27Z) - Robust ADAS: Enhancing Robustness of Machine Learning-based Advanced Driver Assistance Systems for Adverse Weather [5.383130566626935]
本稿では,デノイングディープニューラルネットワークを前処理ステップとして,悪天候画像から晴天画像へ変換する。
ドライバーの視認性が向上し、悪天候下での安全なナビゲーションに欠かせない。
論文 参考訳（メタデータ） (2024-07-02T18:03:52Z) - LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes [73.65115834242866]
光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を果たす。
しかし, コリニアカメラの動作やスペーサーのサンプリングにより, 街路景観の再現性は低下する。
街路面のNeRF品質を改善するために,Lidarデータのより優れた利用を可能にするいくつかの知見を提案する。
論文 参考訳（メタデータ） (2024-05-01T23:07:12Z) - NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative Learning for Dynamic Driving Scenes [49.92839157944134]
夜間の運転シーンでは、不十分で不均一な照明が暗闇の中でシーンを遮蔽し、画質と可視性が低下する。
雨天時の運転シーンに適した画像デライニング・フレームワークを開発した。
雨の人工物を取り除き、風景表現を豊かにし、有用な情報を復元することを目的としている。
論文 参考訳（メタデータ） (2024-02-28T09:02:33Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳（メタデータ） (2023-06-15T10:06:13Z) - ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural
Rendering [83.75284107397003]
本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。
本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。
マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-05-03T13:24:06Z) - Generating Clear Images From Images With Distortions Caused by Adverse
Weather Using Generative Adversarial Networks [0.0]
本研究では,雨滴の付着による歪みを含む悪天候条件にともなう画像に対するコンピュータビジョンタスクの改善手法を提案する。
適切な生成対向ネットワークを訓練し,歪みの影響を除去するのに有効であることを示した。
論文 参考訳（メタデータ） (2022-11-01T05:02:44Z) - TransWeather: Transformer-based Restoration of Images Degraded by
Adverse Weather Conditions [77.20136060506906]
トランスウェザー (TransWeather) は1つのエンコーダとデコーダしか持たない変圧器を用いたエンド・ツー・エンドモデルである。
TransWeatherは、All-in-Oneネットワーク上で、複数のテストデータセット間で大幅に改善されている。
実世界のテスト画像で検証され、従来の方法よりも効果的であることが判明した。
論文 参考訳（メタデータ） (2021-11-29T18:57:09Z) - Task-Driven Deep Image Enhancement Network for Autonomous Driving in Bad
Weather [5.416049433853457]
悪天候では、視覚的知覚はいくつかの劣化効果によって大きく影響を受ける。
画像の高品質な復元と高精度な知覚の両方に適した高レベルタスクモデルを導くための新しいタスク駆動型トレーニング戦略を導入する。
実験の結果, 提案手法は車線および2次元物体検出の性能を向上し, 主に悪天候下での深度推定が可能であることがわかった。
論文 参考訳（メタデータ） (2021-10-14T08:03:33Z) - Weather and Light Level Classification for Autonomous Driving: Dataset,
Baseline and Active Learning [0.6445605125467573]
気象(fog,雨,雪)の分類と光度(ブライト,中等,低)の分類のための新しいデータセットを構築した。
それぞれの画像には、天気、光度、街路に対応した3つのラベルがある。
データセットの冗長性を低減し、モデルのトレーニングに最適なフレームセットを見つけるために、アクティブな学習フレームワークを実装します。
論文 参考訳（メタデータ） (2021-04-28T22:53:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。