論文の概要: Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Review

• arxiv url: http://arxiv.org/abs/2004.05224v2
• Date: Wed, 9 Sep 2020 14:12:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 20:44:03.672890
• Title: Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Review
• Title（参考訳）: 自動運転における画像と点雲融合のためのディープラーニング: レビュー
• Authors: Yaodong Cui, Ren Chen, Wenbo Chu, Long Chen, Daxin Tian, Ying Li, Dongpu Cao
• Abstract要約: カメラとLiDARの融合は新たな研究テーマになりつつある。 本稿では、画像と点クラウドの両方を活用するディープラーニングベースのデータ融合アプローチについてレビューする。 我々は、現在の学術研究と現実世界の応用の間のギャップと見過ごされた課題を識別する。
• 参考スコア（独自算出の注目度）: 15.10767676137607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous vehicles were experiencing rapid development in the past few years. However, achieving full autonomy is not a trivial task, due to the nature of the complex and dynamic driving environment. Therefore, autonomous vehicles are equipped with a suite of different sensors to ensure robust, accurate environmental perception. In particular, the camera-LiDAR fusion is becoming an emerging research theme. However, so far there has been no critical review that focuses on deep-learning-based camera-LiDAR fusion methods. To bridge this gap and motivate future research, this paper devotes to review recent deep-learning-based data fusion approaches that leverage both image and point cloud. This review gives a brief overview of deep learning on image and point cloud data processing. Followed by in-depth reviews of camera-LiDAR fusion methods in depth completion, object detection, semantic segmentation, tracking and online cross-sensor calibration, which are organized based on their respective fusion levels. Furthermore, we compare these methods on publicly available datasets. Finally, we identified gaps and over-looked challenges between current academic researches and real-world applications. Based on these observations, we provide our insights and point out promising research directions.
• Abstract（参考訳）: 自動運転車はここ数年で急速な発展を遂げた。 しかし、複雑で動的な運転環境の性質のため、完全な自律性を達成することは簡単な作業ではない。 そのため、自動運転車には、堅牢で正確な環境認識を確保するために、さまざまなセンサーが備わっている。 特に、カメラとLiDARの融合は新たな研究テーマになりつつある。 しかし、これまでディープラーニングベースのカメラ-LiDAR融合法に焦点を当てた批判的なレビューは行われていない。 このギャップを埋め、将来の研究を動機付けるために、この論文では、画像とポイントクラウドの両方を活用する、最近のディープラーニングベースのデータ融合アプローチを精査する。 このレビューでは、イメージとポイントクラウドのデータ処理に関するディープラーニングの概要を概観する。 深度補正,オブジェクト検出,セマンティックセグメンテーション,トラッキング,オンラインクロスセンサーキャリブレーションにおけるカメラ-LiDAR融合手法の詳細なレビューにより,それぞれの融合レベルに基づいて整理した。 さらに,これらの手法を公開データセットで比較する。 最後に,現在の学術研究と実世界の応用とのギャップと見過ごされた課題を明らかにした。 これらの観測に基づいて、洞察を与え、有望な研究方向性を指摘する。

関連論文リスト

• Addressing Data Misalignment in Image-LiDAR Fusion on Point Cloud Segmentation [0.391609470658968]
  我々は,LiDAR点の投影位置が対応する画像に誤認識されることがしばしばあることを示した。 本稿では,核融合モデル2DPASSの nuScenes データセットと SOTA に着目し,この問題を慎重に解決したい。
  論文  参考訳（メタデータ） (2023-09-26T13:41:30Z)
• Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving: A Comprehensive Review [7.835577409160127]
  本稿では,物体検出とセマンティックセグメンテーションに関連する知覚タスクについて概説する。 レビューでは,「なぜフューズするか」,「何をフューズすべきか」,「どこでフューズするか」,「どのようにフューズするか」などの質問に対処する。
  論文  参考訳（メタデータ） (2023-04-20T15:48:50Z)
• Camera-Radar Perception for Autonomous Vehicles and ADAS: Concepts, Datasets and Metrics [77.34726150561087]
  本研究の目的は、ADASおよび自動運転車のカメラおよびレーダーによる認識の現在のシナリオに関する研究を行うことである。 両センサと融合に関する概念と特徴を提示する。 本稿では、ディープラーニングに基づく検出とセグメンテーションタスクの概要と、車両の認識における主要なデータセット、メトリクス、課題、オープンな質問について説明する。
  論文  参考訳（メタデータ） (2023-03-08T00:48:32Z)
• Exploring Contextual Representation and Multi-Modality for End-to-End Autonomous Driving [58.879758550901364]
  最近の知覚システムは、センサー融合による空間理解を高めるが、しばしば完全な環境コンテキストを欠いている。 我々は,3台のカメラを統合し,人間の視野をエミュレートするフレームワークを導入し,トップダウンのバードアイビューセマンティックデータと組み合わせて文脈表現を強化する。 提案手法は, オープンループ設定において0.67mの変位誤差を達成し, nuScenesデータセットでは6.9%の精度で現在の手法を上回っている。
  論文  参考訳（メタデータ） (2022-10-13T05:56:20Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
  本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。 具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。 実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-04-07T17:58:47Z)
• LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation [78.74202673902303]
  本稿では,LiDAR分割のための粗大なLiDARとカメラフュージョンベースネットワーク(LIF-Seg)を提案する。 提案手法は,画像の文脈情報を完全に活用し,単純だが効果的な早期融合戦略を導入する。 これら2つのコンポーネントの協力により、効果的なカメラ-LiDAR融合が成功する。
  論文  参考訳（メタデータ） (2021-08-17T08:53:11Z)
• MmWave Radar and Vision Fusion based Object Detection for Autonomous Driving: A Survey [15.316597644398188]
  ミリ波レーダーと視覚融合は、正確な障害物検出のための主流のソリューションである。 本稿では,mmWaveレーダと視覚融合による障害物検出手法に関する詳細な調査を行う。
  論文  参考訳（メタデータ） (2021-08-06T08:38:42Z)
• Multi-Modal 3D Object Detection in Autonomous Driving: a Survey [10.913958563906931]
  自動運転車には、堅牢で正確な環境認識を行うための一連のセンサーが備わっている。 センサーの数や種類が増加し続けており、それらを組み合わせることで知覚を向上させることが自然のトレンドになりつつある。 この調査では、複数のセンサデータソースを利用する、最近の核融合に基づく3D検出ディープラーニングモデルについてレビューする。
  論文  参考訳（メタデータ） (2021-06-24T02:52:12Z)
• Lighting the Darkness in the Deep Learning Era [118.35081853500411]
  低照度画像強調(LLIE)は、照明の弱い環境で撮影された画像の知覚や解釈性を改善することを目的としている。 この分野における最近の進歩は、ディープラーニングベースのソリューションが支配的です。 アルゴリズム分類から未解決の未解決問題まで,さまざまな側面をカバーする包括的な調査を行う。
  論文  参考訳（メタデータ） (2021-04-21T19:12:19Z)
• 3D Point Cloud Processing and Learning for Autonomous Driving [26.285659927609213]
  本稿では,自動運転のための3Dポイントクラウド処理と学習についてレビューする。 LiDARセンサーは、オブジェクトやシーンの外面を正確に記録する3Dポイントの雲を収集する。
  論文  参考訳（メタデータ） (2020-03-01T22:13:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。