論文の概要: SparseLIF: High-Performance Sparse LiDAR-Camera Fusion for 3D Object Detection
- arxiv url: http://arxiv.org/abs/2403.07284v2
- Date: Wed, 10 Jul 2024 05:20:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 21:39:45.811623
- Title: SparseLIF: High-Performance Sparse LiDAR-Camera Fusion for 3D Object Detection
- Title（参考訳）: スパースLIF:3次元物体検出のための高性能スパースLiDAR-Camera核融合
- Authors: Hongcheng Zhang, Liu Liang, Pengxin Zeng, Xiao Song, Zhe Wang,
- Abstract要約: クエリベースのパラダイムは、明示的な高密度なBEV機能構築を伴わずに低レイテンシを採用するため、スパース3D検出器は大きな注目を集めている。
本稿では,エンドツーエンドのマルチモーダル3Dオブジェクト検出のための高性能フルスパース検出器を提案する。
論文提出時点では、SparseLIFはnuScenesデータセット上で最先端のパフォーマンスを達成しており、検証セットとテストベンチマークの両方で1位になっている。
- 参考スコア（独自算出の注目度）: 5.916444315216411
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Sparse 3D detectors have received significant attention since the query-based paradigm embraces low latency without explicit dense BEV feature construction. However, these detectors achieve worse performance than their dense counterparts. In this paper, we find the key to bridging the performance gap is to enhance the awareness of rich representations in two modalities. Here, we present a high-performance fully sparse detector for end-to-end multi-modality 3D object detection. The detector, termed SparseLIF, contains three key designs, which are (1) Perspective-Aware Query Generation (PAQG) to generate high-quality 3D queries with perspective priors, (2) RoI-Aware Sampling (RIAS) to further refine prior queries by sampling RoI features from each modality, (3) Uncertainty-Aware Fusion (UAF) to precisely quantify the uncertainty of each sensor modality and adaptively conduct final multi-modality fusion, thus achieving great robustness against sensor noises. By the time of paper submission, SparseLIF achieves state-of-the-art performance on the nuScenes dataset, ranking 1st on both validation set and test benchmark, outperforming all state-of-the-art 3D object detectors by a notable margin.
- Abstract（参考訳）: クエリベースのパラダイムは、明示的な高密度なBEV機能構築を伴わずに低レイテンシを採用するため、スパース3D検出器は大きな注目を集めている。
しかし、これらの検出器は密度の高い検出器よりも性能が劣る。
本稿では,2つのモードにおけるリッチ表現の認識を高めることを目的として,性能ギャップを埋める鍵を見出した。
本稿では,エンドツーエンドのマルチモーダル3Dオブジェクト検出のための高性能フルスパース検出器を提案する。
SparseLIFと呼ばれる検出器には、3つの重要な設計が含まれており、(1)パースペクティブ・アウェア・クエリー生成(PAQG)、(2)パースペクティブ・アウェア・サンプリング(RIAS)、(2)各モータリティからRoI特徴をサンプリングして事前クエリを洗練させるRoI-Aware Sampling(RIAS)、(3)不確実性・アウェア・フュージョン(UAF)、各センサのモダリティの不確かさを正確に定量化し、最終的なマルチモータリティ・フュージョンを適応的に行うことで、センサノイズに対して大きな堅牢性を実現する。
論文提出時点では、SparseLIFはnuScenesデータセットの最先端のパフォーマンスを達成し、検証セットとテストベンチマークの両方で1位を獲得し、最先端の3Dオブジェクト検出器を顕著なマージンで上回っている。
関連論文リスト
- MV2DFusion: Leveraging Modality-Specific Object Semantics for Multi-Modal 3D Detection [28.319440934322728]
MV2DFusionは、高度なクエリベースの融合機構を通じて両方の世界の強みを統合するマルチモーダル検出フレームワークである。
私たちのフレームワークの柔軟性は、任意のイメージとポイントクラウドベースの検出器との統合を可能にし、その適応性と将来の進歩の可能性を示しています。
論文 参考訳（メタデータ） (2024-08-12T06:46:05Z) - SEED: A Simple and Effective 3D DETR in Point Clouds [72.74016394325675]
ポイントクラウドの分散度が高く,不均一な分布のため,主な課題は困難である,と我々は主張する。
点雲から3次元物体を検出するための簡便で効果的な3次元DETR法(SEED)を提案する。
論文 参考訳（メタデータ） (2024-07-15T14:21:07Z) - Multi-View Attentive Contextualization for Multi-View 3D Object Detection [19.874148893464607]
MvACon(Multi-View Attentive Contextualization)は,クエリベース3D(MV3D)オブジェクト検出における2D-to-3D機能向上のための,シンプルかつ効果的な手法である。
実験では、提案されたMvAConは、BEVFormerと最近の3Dデフォルマブルアテンション(DFA3D)とPETRの両方を用いて、nuScenesベンチマークで徹底的にテストされている。
論文 参考訳（メタデータ） (2024-05-20T17:37:10Z) - Fully Sparse Fusion for 3D Object Detection [69.32694845027927]
現在広く使われているマルチモーダル3D検出法は、通常、密度の高いBird-Eye-View特徴マップを使用するLiDARベースの検出器上に構築されている。
完全にスパースなアーキテクチャは、長距離知覚において非常に効率的であるため、注目を集めている。
本稿では,新たに出現するフルスパースアーキテクチャにおいて,画像のモダリティを効果的に活用する方法を検討する。
論文 参考訳（メタデータ） (2023-04-24T17:57:43Z) - Multi-level and multi-modal feature fusion for accurate 3D object
detection in Connected and Automated Vehicles [0.8701566919381223]
本稿では,3段階特徴抽出器を用いたディープニューラルネットワークを用いた3次元物体検出モデルを提案する。
提案した特徴抽出器は、2つの入力感覚モーダルから高次特徴を抽出し、畳み込み過程に捨てられた重要な特徴を回収する。
新たな融合方式は、感覚のモダリティと畳み込み層を効果的に融合させ、最も優れたグローバルな特徴を見出す。
論文 参考訳（メタデータ） (2022-12-15T00:25:05Z) - D-Align: Dual Query Co-attention Network for 3D Object Detection Based
on Multi-frame Point Cloud Sequence [8.21339007493213]
従来の3Dオブジェクト検出器は一定期間に取得した一連の点を用いて物体を検出する。
近年の研究では、点雲列を利用して物体検出の性能をさらに向上できることが示されている。
D-Alignは,一連の点集合から得られる特徴を調整・集約することで,鳥眼視(BEV)の特徴を効果的に生み出すことができる。
論文 参考訳（メタデータ） (2022-09-30T20:41:25Z) - EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object
Detection [56.03081616213012]
本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。
提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。
KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
論文 参考訳（メタデータ） (2021-12-21T10:48:34Z) - Improving 3D Object Detection with Channel-wise Transformer [58.668922561622466]
我々は手作りの最小限の設計で2段階の3Dオブジェクト検出フレームワーク(CT3D)を提案する。
CT3Dは、提案対応の埋め込みとチャンネルワイドコンテキストアグリゲーションを同時に行う。
これはKITTIテスト3D検出ベンチマークで中等車カテゴリーで81.77%のAPを達成した。
論文 参考訳（メタデータ） (2021-08-23T02:03:40Z) - M3DSSD: Monocular 3D Single Stage Object Detector [82.25793227026443]
特徴アライメントと非対称非局所的注意を有するモノクロ3次元単段物体検出器(M3DSSD)を提案する。
提案したM3DSSDは,KITTIデータセット上のモノラルな3Dオブジェクト検出手法よりも大幅に性能が向上する。
論文 参考訳（メタデータ） (2021-03-24T13:09:11Z) - Deep Continuous Fusion for Multi-Sensor 3D Object Detection [103.5060007382646]
本稿では,LIDARとカメラを併用して高精度な位置検出を実現する3Dオブジェクト検出器を提案する。
我々は,連続畳み込みを利用して画像とlidar特徴マップを異なるレベルの解像度で融合する,エンドツーエンド学習可能なアーキテクチャを設計した。
論文 参考訳（メタデータ） (2020-12-20T18:43:41Z) - Boundary-Aware Dense Feature Indicator for Single-Stage 3D Object
Detection from Point Clouds [32.916690488130506]
本稿では,3次元検出器が境界を意識して点雲の最も密集した領域に焦点を合わせるのを支援する普遍モジュールを提案する。
KITTIデータセットの実験により、DENFIはベースライン単段検出器の性能を著しく改善することが示された。
論文 参考訳（メタデータ） (2020-04-01T01:21:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。