論文の概要: NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative
Learning for Dynamic Driving Scenes
- arxiv url: http://arxiv.org/abs/2402.18172v1
- Date: Wed, 28 Feb 2024 09:02:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 15:48:24.693978
- Title: NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative
Learning for Dynamic Driving Scenes
- Title(参考訳): NiteDR:動的運転シーンのためのクロスビューセンサ協調学習による夜間デライニング
- Authors: Cidan Shi, Lihuang Fang, Han Wu, Xiaoyu Xian, Yukai Shi, Liang Lin
- Abstract要約: 夜間の運転シーンでは、不十分で不均一な照明が暗闇の中でシーンを遮蔽し、画質と可視性が低下する。
雨天時の運転シーンに適した画像デライニング・フレームワークを開発した。
雨の人工物を取り除き、風景表現を豊かにし、有用な情報を復元することを目的としている。
- 参考スコア(独自算出の注目度): 52.904913650645796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In real-world environments, outdoor imaging systems are often affected by
disturbances such as rain degradation. Especially, in nighttime driving scenes,
insufficient and uneven lighting shrouds the scenes in darkness, resulting
degradation of both the image quality and visibility. Particularly, in the
field of autonomous driving, the visual perception ability of RGB sensors
experiences a sharp decline in such harsh scenarios. Additionally, driving
assistance systems suffer from reduced capabilities in capturing and discerning
the surrounding environment, posing a threat to driving safety. Single-view
information captured by single-modal sensors cannot comprehensively depict the
entire scene. To address these challenges, we developed an image de-raining
framework tailored for rainy nighttime driving scenes. It aims to remove rain
artifacts, enrich scene representation, and restore useful information.
Specifically, we introduce cooperative learning between visible and infrared
images captured by different sensors. By cross-view fusion of these
multi-source data, the scene within the images gains richer texture details and
enhanced contrast. We constructed an information cleaning module called
CleanNet as the first stage of our framework. Moreover, we designed an
information fusion module called FusionNet as the second stage to fuse the
clean visible images with infrared images. Using this stage-by-stage learning
strategy, we obtain de-rained fusion images with higher quality and better
visual perception. Extensive experiments demonstrate the effectiveness of our
proposed Cross-View Cooperative Learning (CVCL) in adverse driving scenarios in
low-light rainy environments. The proposed approach addresses the gap in the
utilization of existing rain removal algorithms in specific low-light
conditions.
- Abstract(参考訳): 実際の環境では、屋外イメージングシステムは雨の劣化などの障害によってしばしば影響を受ける。
特に夜間の運転シーンでは、照明が不十分で不均一で暗くなり、画質と視認性が低下する。
特に自動運転の分野では、RGBセンサーの視覚知覚能力は、このような厳しいシナリオで著しく低下している。
さらに、運転支援システムは周囲の環境を捕捉・識別する能力の低下に悩まされ、運転安全への脅威が生じる。
単一モードのセンサが捉えた単一ビュー情報は、シーン全体を包括的に描写することはできない。
これらの課題に対処するため,雨天の夜間運転シーンに適した画像デライニングフレームワークを開発した。
雨のアーティファクトを取り除き、シーン表現を豊かにし、有用な情報を復元することを目的としている。
具体的には、異なるセンサが捉えた可視画像と赤外線画像の協調学習を紹介する。
マルチソースデータのクロスビュー融合により、画像内のシーンはテクスチャの詳細とコントラストが強化される。
フレームワークの第一段階としてクリーンネットという情報クリーニングモジュールを構築した。
さらに,2段目としてfusionnetと呼ばれる情報融合モジュールを設計し,可視画像と赤外線画像の融合を行った。
ステージバイステージ学習戦略を用いて,高画質,高視認性を有するデレイテッドフュージョン画像を得る。
低照度降雨環境における有害運転シナリオにおけるクロスビュー協調学習(CVCL)の有効性を実証した。
提案手法は,特定の低照度条件下での降雨除去アルゴリズムの利用のギャップを解消するものである。
関連論文リスト
- Contrastive Learning Based Recursive Dynamic Multi-Scale Network for
Image Deraining [47.764883957379745]
雨のストリークは撮影画像の可視性を著しく低下させる。
既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。
本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
論文 参考訳(メタデータ) (2023-05-29T13:51:41Z) - Unlocking Low-Light-Rainy Image Restoration by Pairwise Degradation
Feature Vector Guidance [40.06115958764975]
L2RIRNet$という,低照度化とデラミネーションを両立できるエンド・ツー・エンドのネットワークを提案する。
我々のネットワークは主に、P-Net(Pairwise Degradation Feature Vector extract Network)とRecovery Network(R-Net)を含む。
論文 参考訳(メタデータ) (2023-05-06T10:17:42Z) - ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural
Rendering [83.75284107397003]
本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。
本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。
マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-05-03T13:24:06Z) - Joint Depth Estimation and Mixture of Rain Removal From a Single Image [24.009353523566162]
そこで我々は,DeMore-Netと呼ばれる降雨の混合に対する効果的な画像デクリニングパラダイムを提案する。
本研究では,画像のデアライジング作業における正規化手法について検討し,DeMore-Netのデアライジング性能を向上させるためにHNB(Hybrid Normalization Block)を導入する。
論文 参考訳(メタデータ) (2023-03-31T02:05:45Z) - Video Waterdrop Removal via Spatio-Temporal Fusion in Driving Scenes [53.16726447796844]
運転中のフロントガラスの水滴は、深刻な視覚障害を引き起こし、自動車事故を引き起こす可能性がある。
本研究では、複数のフレームから表現を融合させて、水滴に隠された視覚情報を復元するアテンションベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-12T13:47:26Z) - Asymmetric Dual-Decoder U-Net for Joint Rain and Haze Removal [21.316673824040752]
現実のシナリオでは、雨とヘイズ(しばしば共起する共通の気象現象)は、シーンイメージの明快さと質を大幅に低下させる。
本稿では、上記の課題に対処するため、新しいディープニューラルネットワーク、Asymmetric Dual-Decoder U-Net(ADU-Net)を提案する。
ADU−Netは、汚染残留物とシーン残留物の両方を生成し、シーン情報の忠実性を維持しつつ、雨とヘイズを効率的に除去する。
論文 参考訳(メタデータ) (2022-06-14T12:50:41Z) - Semi-DRDNet Semi-supervised Detail-recovery Image Deraining Network via
Unpaired Contrastive Learning [59.22620253308322]
半教師付き詳細復元画像デラミニングネットワーク(セミDRDNet)を提案する。
半教師付き学習パラダイムとして、Semi-DRDNetは、強靭性と詳細な精度を犠牲にして、合成データと実世界の降雨データの両方を円滑に運用する。
論文 参考訳(メタデータ) (2022-04-06T12:35:27Z) - Beyond Monocular Deraining: Parallel Stereo Deraining Network Via
Semantic Prior [103.49307603952144]
ほとんどの既存の脱雨アルゴリズムは単一の入力画像のみを使用し、クリーンな画像の復元を目指しています。
本稿では,ステレオ画像とセマンティック情報の両方を利用するPaired Rain Removal Network(PRRNet)を提案する。
単分子および新たに提案したステレオ降雨データセットの両方の実験により,提案手法が最先端の性能を達成することを示す。
論文 参考訳(メタデータ) (2021-05-09T04:15:10Z) - DAWN: Vehicle Detection in Adverse Weather Nature Dataset [4.09920839425892]
本研究では,DAWNと呼ばれる各種気象条件下で収集した実世界の画像からなる新しいデータセットを提案する。
このデータセットは、実際の交通環境から1000枚の画像を集め、霧、雪、雨、砂嵐の4つの天候条件に分けられる。
このデータは,車両検知システムの性能に及ぼす悪天候の影響の解明に有効である。
論文 参考訳(メタデータ) (2020-08-12T15:48:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。