論文の概要: RoIFusion: 3D Object Detection from LiDAR and Vision
- arxiv url: http://arxiv.org/abs/2009.04554v1
- Date: Wed, 9 Sep 2020 20:23:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 11:49:35.106036
- Title: RoIFusion: 3D Object Detection from LiDAR and Vision
- Title(参考訳): RoIFusion:LiDARによる3次元物体検出と視覚
- Authors: Can Chen, Luca Zanotti Fragonara, and Antonios Tsourdos
- Abstract要約: 本稿では,3次元関心領域(RoI)の集合を点雲から対応する画像の2次元ロIに投影することで,新しい融合アルゴリズムを提案する。
提案手法は,KITTI 3Dオブジェクト検出課題ベンチマークにおける最先端性能を実現する。
- 参考スコア(独自算出の注目度): 7.878027048763662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When localizing and detecting 3D objects for autonomous driving scenes,
obtaining information from multiple sensor (e.g. camera, LIDAR) typically
increases the robustness of 3D detectors. However, the efficient and effective
fusion of different features captured from LIDAR and camera is still
challenging, especially due to the sparsity and irregularity of point cloud
distributions. This notwithstanding, point clouds offer useful complementary
information. In this paper, we would like to leverage the advantages of LIDAR
and camera sensors by proposing a deep neural network architecture for the
fusion and the efficient detection of 3D objects by identifying their
corresponding 3D bounding boxes with orientation. In order to achieve this
task, instead of densely combining the point-wise feature of the point cloud
and the related pixel features, we propose a novel fusion algorithm by
projecting a set of 3D Region of Interests (RoIs) from the point clouds to the
2D RoIs of the corresponding the images. Finally, we demonstrate that our deep
fusion approach achieves state-of-the-art performance on the KITTI 3D object
detection challenging benchmark.
- Abstract(参考訳): 自律走行シーンのための3Dオブジェクトのローカライズと検出を行う場合、複数のセンサー(例えばカメラ、LIDAR)から情報を取得することで、3D検出器の堅牢性が向上する。
しかし、LIDARとカメラから取得した様々な特徴の効率的かつ効果的な融合は、特に点雲分布の空間性と不規則性のため、依然として困難である。
にもかかわらず、ポイントクラウドは有用な補完情報を提供する。
本稿では,LIDARとカメラセンサの利点を融合のためのディープニューラルネットワークアーキテクチャと,それに対応する3次元境界ボックスの向きを識別して3Dオブジェクトの効率的な検出によって活用したい。
この課題を達成するために、点雲の点次特徴と関連する画素特徴を密結合する代わりに、点雲から対応する画像の2D RoIへの3D領域(RoIs)のセットを投影することにより、新しい融合アルゴリズムを提案する。
最後に,我々のdeep fusionアプローチがkitti 3d object detection challengeベンチマークで最先端のパフォーマンスを実現することを実証する。
関連論文リスト
- Sparse-to-Dense LiDAR Point Generation by LiDAR-Camera Fusion for 3D Object Detection [9.076003184833557]
2D画像特徴を融合させてLiDARポイントクラウドデータを再構成する新しいフレームワークであるLiDAR-Camera Augmentation Network (LCANet)を提案する。
LCANetは、画像特徴を3D空間に投影し、意味情報をポイントクラウドデータに統合することで、LiDARセンサーからのデータを融合する。
この融合は、しばしばスパースポイントで表される長距離物体の検出におけるLiDARの弱点を効果的に補う。
論文 参考訳(メタデータ) (2024-09-23T13:03:31Z) - Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。
本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。
3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
論文 参考訳(メタデータ) (2024-04-10T03:54:53Z) - SemanticBEVFusion: Rethink LiDAR-Camera Fusion in Unified Bird's-Eye
View Representation for 3D Object Detection [14.706717531900708]
LiDARとカメラは、自律運転における3Dオブジェクト検出に不可欠な2つのセンサーである。
近年の手法では,LiDAR点雲にカメラ機能を持たせた点レベルの融合に焦点が当てられている。
We present SemanticBEVFusion to deep fuse camera features with LiDAR features in an unified BEV representation。
論文 参考訳(メタデータ) (2022-12-09T05:48:58Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳(メタデータ) (2022-08-24T16:54:38Z) - Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data [80.14669385741202]
本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。
我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。
私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
論文 参考訳(メタデータ) (2022-03-30T12:40:30Z) - Anchor-free 3D Single Stage Detector with Mask-Guided Attention for
Point Cloud [79.39041453836793]
我々は、点雲をアンカーフリーで検出する新しい1段3次元検出器を開発した。
ボクセルをベースとしたスパース3D特徴量からスパース2D特徴量マップに変換することでこれを克服する。
検出信頼度スコアとバウンディングボックス回帰の精度との相関性を改善するために,IoUに基づく検出信頼度再校正手法を提案する。
論文 参考訳(メタデータ) (2021-08-08T13:42:13Z) - Deep Continuous Fusion for Multi-Sensor 3D Object Detection [103.5060007382646]
本稿では,LIDARとカメラを併用して高精度な位置検出を実現する3Dオブジェクト検出器を提案する。
我々は,連続畳み込みを利用して画像とlidar特徴マップを異なるレベルの解像度で融合する,エンドツーエンド学習可能なアーキテクチャを設計した。
論文 参考訳(メタデータ) (2020-12-20T18:43:41Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳(メタデータ) (2020-08-16T11:01:20Z) - 3D-CVF: Generating Joint Camera and LiDAR Features Using Cross-View
Spatial Feature Fusion for 3D Object Detection [10.507404260449333]
本稿では,3次元物体検出のためのカメラとLiDARセンサの融合アーキテクチャを提案する。
提案した3D-CVFは,KITTIベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2020-04-27T08:34:46Z) - 3D Object Detection Method Based on YOLO and K-Means for Image and Point
Clouds [1.9458156037869139]
ライダーに基づく3Dオブジェクト検出と分類タスクは、自動運転に不可欠である。
本稿では,点雲と画像に基づく3次元物体検出手法を提案する。
論文 参考訳(メタデータ) (2020-04-21T04:32:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。