論文の概要: BOX3D: Lightweight Camera-LiDAR Fusion for 3D Object Detection and Localization
- arxiv url: http://arxiv.org/abs/2408.14941v1
- Date: Tue, 27 Aug 2024 10:26:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 14:13:27.265904
- Title: BOX3D: Lightweight Camera-LiDAR Fusion for 3D Object Detection and Localization
- Title（参考訳）: BOX3D:3次元物体検出と位置検出のための軽量カメラ-LiDAR融合
- Authors: Mario A. V. Saucedo, Nikolaos Stathoulopoulos, Vidya Sumathy, Christoforos Kanellakis, George Nikolakopoulos,
- Abstract要約: 本稿では,RGBカメラと3D LiDARの情報を融合させることにより,興味の対象をローカライズする新しい手法であるBOX3Dを提案する。
BOX3Dは、3層構造で構築されており、入力されたシーケンシャルセンサーデータの局所的な知覚から、グローバルな知覚の洗練までで構成されている。
提案した新しいアーキテクチャのベンチマーク結果は,都市環境の大規模データセットに関する複数の実験で実証された。
- 参考スコア（独自算出の注目度）: 6.029300324532809
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Object detection and global localization play a crucial role in robotics, spanning across a great spectrum of applications from autonomous cars to multi-layered 3D Scene Graphs for semantic scene understanding. This article proposes BOX3D, a novel multi-modal and lightweight scheme for localizing objects of interest by fusing the information from RGB camera and 3D LiDAR. BOX3D is structured around a three-layered architecture, building up from the local perception of the incoming sequential sensor data to the global perception refinement that covers for outliers and the general consistency of each object's observation. More specifically, the first layer handles the low-level fusion of camera and LiDAR data for initial 3D bounding box extraction. The second layer converts each LiDAR's scan 3D bounding boxes to the world coordinate frame and applies a spatial pairing and merging mechanism to maintain the uniqueness of objects observed from different viewpoints. Finally, BOX3D integrates the third layer that supervises the consistency of the results on the global map iteratively, using a point-to-voxel comparison for identifying all points in the global map that belong to the object. Benchmarking results of the proposed novel architecture are showcased in multiple experimental trials on public state-of-the-art large-scale dataset of urban environments.
- Abstract（参考訳）: オブジェクトの検出とグローバルなローカライゼーションはロボット工学において重要な役割を担い、セマンティックなシーン理解のために、自動運転車から多層的な3Dシーングラフまで幅広いアプリケーションにまたがる。
本稿では,RGBカメラと3D LiDARの情報を融合させることにより,興味のある対象をローカライズする,新しいマルチモーダルで軽量なBOX3Dを提案する。
BOX3Dは3層構造で構築されており、入力されたシーケンシャルセンサーデータの局所的な知覚から、外接点をカバーし、各オブジェクトの観測の一般的な整合性を含むグローバルな知覚改善まで、構成されている。
具体的には、第1層は、初期3Dバウンディングボックス抽出のために、カメラとLiDARデータの低レベル融合を処理する。
第2の層は、それぞれのLiDARのスキャン3Dバウンディングボックスを世界座標フレームに変換し、異なる視点から観察された物体の特異性を維持するために空間ペアリングとマージ機構を適用する。
最後に、BOX3Dは、オブジェクトに属するグローバルマップ内のすべての点を特定するために、ポイント・ツー・ボクセル比較を用いて、グローバルマップ上の結果の一貫性を反復的に監視する第3の層を統合する。
提案した新しいアーキテクチャのベンチマーク結果は,都市環境の大規模データセットに関する複数の実験で実証された。
関連論文リスト
- MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。
結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
論文 参考訳（メタデータ） (2024-06-13T17:59:30Z) - VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-04-15T03:12:12Z) - PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest [65.48057241587398]
PoIFusionは、関心点(PoIs)におけるRGBイメージとLiDARポイントクラウドに関する情報を融合するフレームワークである。
提案手法は,各モダリティの視点を維持し,計算にやさしいプロジェクションと計算によってマルチモーダル特徴を得る。
我々はnuScenesとArgoverse2データセットについて広範囲に実験を行い、我々のアプローチを評価した。
論文 参考訳（メタデータ） (2024-03-14T09:28:12Z) - CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。
我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。
3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文 参考訳（メタデータ） (2022-09-13T05:26:09Z) - SRCN3D: Sparse R-CNN 3D for Compact Convolutional Multi-View 3D Object
Detection and Tracking [12.285423418301683]
本稿では,スパースクエリ,ボックスワイズサンプリングによるスパースアテンション,スパース予測を組み込んだ新しい2段フルスパース検出器であるスパースR-CNN3Dを提案する。
nuScenesデータセットの実験では、SRCN3Dは3Dオブジェクト検出とマルチオブジェクト追跡の両方で競合性能を達成している。
論文 参考訳（メタデータ） (2022-06-29T07:58:39Z) - Graph-DETR3D: Rethinking Overlapping Regions for Multi-View 3D Object
Detection [17.526914782562528]
グラフ構造学習(GSL)による多視点画像情報を自動的に集約するグラフDETR3Dを提案する。
我々の最良のモデルは、nuScenesテストリーダーボード上で49.5 NDSを達成し、様々な画像ビュー3Dオブジェクト検出器と比較して新しい最先端技術を実現している。
論文 参考訳（メタデータ） (2022-04-25T12:10:34Z) - A Versatile Multi-View Framework for LiDAR-based 3D Object Detection
with Guidance from Panoptic Segmentation [9.513467995188634]
LiDARデータを用いた3Dオブジェクト検出は、自律運転システムにとって必須のコンポーネントである。
本稿では,3次元物体検出とパノプティックセグメンテーションを共同で行う新しいマルチタスクフレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-04T04:57:05Z) - 3D-MAN: 3D Multi-frame Attention Network for Object Detection [22.291051951077485]
3D-MANは、複数の視点から効果的に機能を集約する3Dマルチフレームアテンションネットワークです。
3D-MANは, 単フレームおよび複数フレームの手法と比較して, 最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-30T03:44:22Z) - Deep Continuous Fusion for Multi-Sensor 3D Object Detection [103.5060007382646]
本稿では,LIDARとカメラを併用して高精度な位置検出を実現する3Dオブジェクト検出器を提案する。
我々は,連続畳み込みを利用して画像とlidar特徴マップを異なるレベルの解像度で融合する,エンドツーエンド学習可能なアーキテクチャを設計した。
論文 参考訳（メタデータ） (2020-12-20T18:43:41Z) - BirdNet+: End-to-End 3D Object Detection in LiDAR Bird's Eye View [117.44028458220427]
自動運転車のオンボード3Dオブジェクト検出は、LiDARデバイスが捉えた幾何学情報に依存することが多い。
本稿では,BEV画像のみから指向性3Dボックスを推測可能な,エンドツーエンドの3Dオブジェクト検出フレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-09T15:08:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。