論文の概要: NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative Learning for Dynamic Driving Scenes

• arxiv url: http://arxiv.org/abs/2402.18172v1
• Date: Wed, 28 Feb 2024 09:02:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 15:48:24.693978
• Title: NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative Learning for Dynamic Driving Scenes
• Title（参考訳）: NiteDR:動的運転シーンのためのクロスビューセンサ協調学習による夜間デライニング
• Authors: Cidan Shi, Lihuang Fang, Han Wu, Xiaoyu Xian, Yukai Shi, Liang Lin
• Abstract要約: 夜間の運転シーンでは、不十分で不均一な照明が暗闇の中でシーンを遮蔽し、画質と可視性が低下する。 雨天時の運転シーンに適した画像デライニング・フレームワークを開発した。 雨の人工物を取り除き、風景表現を豊かにし、有用な情報を復元することを目的としている。
• 参考スコア（独自算出の注目度）: 52.904913650645796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-world environments, outdoor imaging systems are often affected by disturbances such as rain degradation. Especially, in nighttime driving scenes, insufficient and uneven lighting shrouds the scenes in darkness, resulting degradation of both the image quality and visibility. Particularly, in the field of autonomous driving, the visual perception ability of RGB sensors experiences a sharp decline in such harsh scenarios. Additionally, driving assistance systems suffer from reduced capabilities in capturing and discerning the surrounding environment, posing a threat to driving safety. Single-view information captured by single-modal sensors cannot comprehensively depict the entire scene. To address these challenges, we developed an image de-raining framework tailored for rainy nighttime driving scenes. It aims to remove rain artifacts, enrich scene representation, and restore useful information. Specifically, we introduce cooperative learning between visible and infrared images captured by different sensors. By cross-view fusion of these multi-source data, the scene within the images gains richer texture details and enhanced contrast. We constructed an information cleaning module called CleanNet as the first stage of our framework. Moreover, we designed an information fusion module called FusionNet as the second stage to fuse the clean visible images with infrared images. Using this stage-by-stage learning strategy, we obtain de-rained fusion images with higher quality and better visual perception. Extensive experiments demonstrate the effectiveness of our proposed Cross-View Cooperative Learning (CVCL) in adverse driving scenarios in low-light rainy environments. The proposed approach addresses the gap in the utilization of existing rain removal algorithms in specific low-light conditions.
• Abstract（参考訳）: 実際の環境では、屋外イメージングシステムは雨の劣化などの障害によってしばしば影響を受ける。 特に夜間の運転シーンでは、照明が不十分で不均一で暗くなり、画質と視認性が低下する。 特に自動運転の分野では、RGBセンサーの視覚知覚能力は、このような厳しいシナリオで著しく低下している。 さらに、運転支援システムは周囲の環境を捕捉・識別する能力の低下に悩まされ、運転安全への脅威が生じる。 単一モードのセンサが捉えた単一ビュー情報は、シーン全体を包括的に描写することはできない。 これらの課題に対処するため,雨天の夜間運転シーンに適した画像デライニングフレームワークを開発した。 雨のアーティファクトを取り除き、シーン表現を豊かにし、有用な情報を復元することを目的としている。 具体的には、異なるセンサが捉えた可視画像と赤外線画像の協調学習を紹介する。 マルチソースデータのクロスビュー融合により、画像内のシーンはテクスチャの詳細とコントラストが強化される。 フレームワークの第一段階としてクリーンネットという情報クリーニングモジュールを構築した。 さらに,2段目としてfusionnetと呼ばれる情報融合モジュールを設計し,可視画像と赤外線画像の融合を行った。 ステージバイステージ学習戦略を用いて,高画質,高視認性を有するデレイテッドフュージョン画像を得る。 低照度降雨環境における有害運転シナリオにおけるクロスビュー協調学習(CVCL)の有効性を実証した。 提案手法は,特定の低照度条件下での降雨除去アルゴリズムの利用のギャップを解消するものである。

関連論文リスト

• LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes [73.65115834242866]
  光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を果たす。 しかし, コリニアカメラの動作やスペーサーのサンプリングにより, 街路景観の再現性は低下する。 街路面のNeRF品質を改善するために,Lidarデータのより優れた利用を可能にするいくつかの知見を提案する。
  論文  参考訳（メタデータ） (2024-05-01T23:07:12Z)
• Light the Night: A Multi-Condition Diffusion Framework for Unpaired Low-Light Enhancement in Autonomous Driving [45.97279394690308]
  LightDiffは、自動運転アプリケーションの低照度画像品質を高めるために設計されたフレームワークである。 深度マップ、RGB画像、テキストキャプションなど、様々なモードから入力重みを適応的に制御する新しいマルチコンディションアダプタが組み込まれている。 夜間の条件下での最先端の3D検出器の性能を著しく向上し、高い視覚的品質のスコアを達成できる。
  論文  参考訳（メタデータ） (2024-04-07T04:10:06Z)
• Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
  暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。 既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。 L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
  論文  参考訳（メタデータ） (2023-05-06T10:17:42Z)
• ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
  本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-03T13:24:06Z)
• Asymmetric Dual-Decoder U-Net for Joint Rain and Haze Removal [21.316673824040752]
  現実のシナリオでは、雨とヘイズ(しばしば共起する共通の気象現象)は、シーンイメージの明快さと質を大幅に低下させる。 本稿では、上記の課題に対処するため、新しいディープニューラルネットワーク、Asymmetric Dual-Decoder U-Net(ADU-Net)を提案する。 ADU−Netは、汚染残留物とシーン残留物の両方を生成し、シーン情報の忠実性を維持しつつ、雨とヘイズを効率的に除去する。
  論文  参考訳（メタデータ） (2022-06-14T12:50:41Z)
• Semi-DRDNet Semi-supervised Detail-recovery Image Deraining Network via Unpaired Contrastive Learning [59.22620253308322]
  半教師付き詳細復元画像デラミニングネットワーク(セミDRDNet)を提案する。 半教師付き学習パラダイムとして、Semi-DRDNetは、強靭性と詳細な精度を犠牲にして、合成データと実世界の降雨データの両方を円滑に運用する。
  論文  参考訳（メタデータ） (2022-04-06T12:35:27Z)
• DAWN: Vehicle Detection in Adverse Weather Nature Dataset [4.09920839425892]
  本研究では,DAWNと呼ばれる各種気象条件下で収集した実世界の画像からなる新しいデータセットを提案する。 このデータセットは、実際の交通環境から1000枚の画像を集め、霧、雪、雨、砂嵐の4つの天候条件に分けられる。 このデータは,車両検知システムの性能に及ぼす悪天候の影響の解明に有効である。
  論文  参考訳（メタデータ） (2020-08-12T15:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。