Fugu-MT 論文翻訳(概要): Sparse-to-Dense LiDAR Point Generation by LiDAR-Camera Fusion for 3D Object Detection

論文の概要: Sparse-to-Dense LiDAR Point Generation by LiDAR-Camera Fusion for 3D Object Detection

arxiv url: http://arxiv.org/abs/2409.14985v2
Date: Tue, 24 Sep 2024 16:20:30 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 15:05:21.920259
Title: Sparse-to-Dense LiDAR Point Generation by LiDAR-Camera Fusion for 3D Object Detection
Title（参考訳）: 3次元物体検出のためのLiDAR-Camera Fusionによる疎距離LiDAR点生成
Authors: Minseung Lee, Seokha Moon, Seung Joon Lee, Jinkyu Kim,
Abstract要約: 2D画像特徴を融合させてLiDARポイントクラウドデータを再構成する新しいフレームワークであるLiDAR-Camera Augmentation Network (LCANet)を提案する。 LCANetは、画像特徴を3D空間に投影し、意味情報をポイントクラウドデータに統合することで、LiDARセンサーからのデータを融合する。この融合は、しばしばスパースポイントで表される長距離物体の検出におけるLiDARの弱点を効果的に補う。
参考スコア（独自算出の注目度）: 9.076003184833557
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Accurately detecting objects at long distances remains a critical challenge in 3D object detection when relying solely on LiDAR sensors due to the inherent limitations of data sparsity. To address this issue, we propose the LiDAR-Camera Augmentation Network (LCANet), a novel framework that reconstructs LiDAR point cloud data by fusing 2D image features, which contain rich semantic information, generating additional points to improve detection accuracy. LCANet fuses data from LiDAR sensors and cameras by projecting image features into the 3D space, integrating semantic information into the point cloud data. This fused data is then encoded to produce 3D features that contain both semantic and spatial information, which are further refined to reconstruct final points before bounding box prediction. This fusion effectively compensates for LiDAR's weakness in detecting objects at long distances, which are often represented by sparse points. Additionally, due to the sparsity of many objects in the original dataset, which makes effective supervision for point generation challenging, we employ a point cloud completion network to create a complete point cloud dataset that supervises the generation of dense point clouds in our network. Extensive experiments on the KITTI and Waymo datasets demonstrate that LCANet significantly outperforms existing models, particularly in detecting sparse and distant objects.
Abstract（参考訳）: 長距離物体の正確な検出は、データ空間に固有の制限があるため、LiDARセンサーのみに依存する場合、三次元物体検出において重要な課題である。この問題を解決するために,LiDAR-Camera Augmentation Network (LCANet) を提案する。LCANetは,リッチなセマンティック情報を含む2D画像特徴を融合することにより,LiDARポイントクラウドデータを再構成する新しいフレームワークである。 LCANetは、画像特徴を3D空間に投影し、意味情報をポイントクラウドデータに統合することで、LiDARセンサーとカメラからのデータを融合する。この融合データを符号化して意味情報と空間情報の両方を含む3D特徴を生成する。この融合は、しばしばスパースポイントで表される長距離物体の検出におけるLiDARの弱点を効果的に補う。さらに、ポイント生成を効果的に監視するオリジナルのデータセットに多くのオブジェクトが分散しているため、我々はポイント・クラウド・コンプリート・ネットワークを使用して、ネットワーク内の高密度なポイント・クラウドの生成を監督する完全なポイント・クラウド・データセットを作成します。 KITTIとWaymoのデータセットに関する大規模な実験により、LCANetは既存のモデル、特にスパースや遠距離物体の検出において、大幅に性能が向上していることが示された。

関連論文リスト

VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文参考訳（メタデータ） (2024-04-15T03:12:12Z)
VirtualPainting: Addressing Sparsity with Virtual Points and Distance-Aware Data Augmentation for 3D Object Detection [3.5259183508202976]
本稿では,カメラ画像を用いた仮想LiDAR点の生成を含む革新的なアプローチを提案する。また、画像ベースセグメンテーションネットワークから得られる意味ラベルを用いて、これらの仮想点を強化する。このアプローチは、様々な3Dフレームワークと2Dセマンティックセグメンテーションメソッドにシームレスに統合できる汎用的なソリューションを提供する。
論文参考訳（メタデータ） (2023-12-26T18:03:05Z)
Semantics-aware LiDAR-Only Pseudo Point Cloud Generation for 3D Object Detection [0.7234862895932991]
近年の進歩は擬似LiDAR、すなわち合成高密度点雲を導入し、カメラなどの追加のモダリティを使って3Dオブジェクト検出を強化している。我々は,LiDARセンサとシーンセマンティクスに頼って,密度の高い擬似点雲で生スキャンを増強する,新しいLiDAR専用フレームワークを提案する。
論文参考訳（メタデータ） (2023-09-16T09:18:47Z)
AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文参考訳（メタデータ） (2022-08-24T16:54:38Z)
VPFNet: Improving 3D Object Detection with Virtual Point based LiDAR and Stereo Data Fusion [62.24001258298076]
VPFNetは、ポイントクラウドとイメージデータを仮想のポイントで巧みに調整し集約する新しいアーキテクチャである。当社のVPFNetは,KITTIテストセットで83.21%の中等度3D AP,91.86%中等度BEV APを達成し,2021年5月21日以来の1位となった。
論文参考訳（メタデータ） (2021-11-29T08:51:20Z)
Anchor-free 3D Single Stage Detector with Mask-Guided Attention for Point Cloud [79.39041453836793]
我々は、点雲をアンカーフリーで検出する新しい1段3次元検出器を開発した。ボクセルをベースとしたスパース3D特徴量からスパース2D特徴量マップに変換することでこれを克服する。検出信頼度スコアとバウンディングボックス回帰の精度との相関性を改善するために,IoUに基づく検出信頼度再校正手法を提案する。
論文参考訳（メタデータ） (2021-08-08T13:42:13Z)
PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21) [68.12101204123422]
点雲は3次元座標における空間データの密集したコンパイルである。我々は3次元多目的追跡(MOT)のためのPointNetベースのアプローチを提案する。
論文参考訳（メタデータ） (2021-06-03T05:36:39Z)
SIENet: Spatial Information Enhancement Network for 3D Object Detection from Point Cloud [20.84329063509459]
LiDARベースの3Dオブジェクト検出は、自動運転車に大きな影響を与える。 LiDARの固有特性の制限により、センサーから遠く離れた物体において、より少ない点が収集される。そこで本研究では,SIENetという2段階の3次元物体検出フレームワークを提案する。
論文参考訳（メタデータ） (2021-03-29T07:45:09Z)
RoIFusion: 3D Object Detection from LiDAR and Vision [7.878027048763662]
本稿では,3次元関心領域(RoI)の集合を点雲から対応する画像の2次元ロIに投影することで,新しい融合アルゴリズムを提案する。提案手法は,KITTI 3Dオブジェクト検出課題ベンチマークにおける最先端性能を実現する。
論文参考訳（メタデータ） (2020-09-09T20:23:27Z)
Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文参考訳（メタデータ） (2020-08-16T11:01:20Z)
3D Object Detection From LiDAR Data Using Distance Dependent Feature Extraction [7.04185696830272]
本研究は、LiDAR点雲の性質を遠距離で考慮し、3次元物体検出器の改良を提案する。その結果、近距離および長距離オブジェクトのための個別ネットワークのトレーニングは、すべてのKITTIベンチマークの困難さに対するパフォーマンスを高めることが示された。
論文参考訳（メタデータ） (2020-03-02T13:16:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。