論文の概要: SparseLIF: High-Performance Sparse LiDAR-Camera Fusion for 3D Object
Detection
- arxiv url: http://arxiv.org/abs/2403.07284v1
- Date: Tue, 12 Mar 2024 03:34:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 23:04:35.974509
- Title: SparseLIF: High-Performance Sparse LiDAR-Camera Fusion for 3D Object
Detection
- Title(参考訳): sparselif: 3次元物体検出のための高性能スパースlidarカメラ融合
- Authors: Hongcheng Zhang, Liu Liang, Pengxin Zeng, Xiao Song, Zhe Wang
- Abstract要約: クエリベースのパラダイムは、明示的な高密度なBEV機能構築を伴わずに低レイテンシを採用するため、スパース3D検出器は大きな注目を集めている。
エンドツーエンドのマルチモード3Dオブジェクト検出のための高性能フルスパース検出器を提案する。
- 参考スコア(独自算出の注目度): 6.34743334631783
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Sparse 3D detectors have received significant attention since the query-based
paradigm embraces low latency without explicit dense BEV feature construction.
However, these detectors achieve worse performance than their dense
counterparts. In this paper, we find the key to bridging the performance gap is
to enhance the awareness of rich representations in two modalities. Here, we
present a high-performance fully sparse detector for end-to-end multi-modality
3D object detection. The detector, termed SparseLIF, contains three key
designs, which are (1) Perspective-Aware Query Generation (PAQG) to generate
high-quality 3D queries with perspective priors, (2) RoI-Aware Sampling (RIAS)
to further refine prior queries by sampling RoI features from each modality,
(3) Uncertainty-Aware Fusion (UAF) to precisely quantify the uncertainty of
each sensor modality and adaptively conduct final multi-modality fusion, thus
achieving great robustness against sensor noises. By the time of submission
(2024/03/08), SparseLIF achieves state-of-the-art performance on the nuScenes
dataset, ranking 1st on both validation set and test benchmark, outperforming
all state-of-the-art 3D object detectors by a notable margin. The source code
will be released upon acceptance.
- Abstract(参考訳): クエリベースのパラダイムは、明示的な高密度なBEV機能構築を伴わずに低レイテンシを採用するため、スパース3D検出器は大きな注目を集めている。
しかし、これらの検出器は密度の高い検出器よりも性能が劣る。
本稿では,性能ギャップを橋渡しするための鍵は,リッチ表現の認識を2つの様相で高めることである。
本稿では,エンドツーエンドのマルチモーダル3Dオブジェクト検出のための高性能フルスパース検出器を提案する。
SparseLIFと呼ばれる検出器には、3つの重要な設計が含まれており、(1)パースペクティブ・アウェア・クエリー生成(PAQG)、(2)パースペクティブ・アウェア・サンプリング(RIAS)、(2)各モータリティからRoI特徴をサンプリングして事前クエリを洗練させるRoI-Aware Sampling(RIAS)、(3)不確実性・アウェア・フュージョン(UAF)、各センサのモダリティの不確かさを正確に定量化し、最終的なマルチモータリティ・フュージョンを適応的に行うことで、センサノイズに対して大きな堅牢性を実現する。
提出時(2024/03/08)までに、SparseLIFはnuScenesデータセットの最先端のパフォーマンスを達成し、検証セットとテストベンチマークの両方で1位を獲得し、最先端の3Dオブジェクト検出器を顕著なマージンで上回る。
ソースコードは受理後に公開される。
関連論文リスト
- 3DifFusionDet: Diffusion Model for 3D Object Detection with Robust
LiDAR-Camera Fusion [6.914463996768285]
3DifFusionDetはノイズの多い3Dボックスからターゲットボックスへのノイズ拡散プロセスとして3Dオブジェクトを検出する。
特徴整合戦略の下では、プログレッシブ改良法はロバストLiDAR-Camera融合に重要な貢献をする可能性がある。
実世界の交通物体識別のベンチマークであるKITTIの実験では、3DifFusionDetが以前のよく検討された検出器と比較して好適に動作できることが判明した。
論文 参考訳(メタデータ) (2023-11-07T05:53:09Z) - KECOR: Kernel Coding Rate Maximization for Active 3D Object Detection [48.66703222700795]
我々は、ラベルの取得に最も有用なポイントクラウドを特定するために、新しいカーネル戦略を利用する。
1段目(SECOND)と2段目(SECOND)の両方に対応するため、アノテーションに選択した境界ボックスの総数と検出性能のトレードオフをよく組み込んだ分類エントロピー接点を組み込んだ。
その結果,ボックスレベルのアノテーションのコストは約44%,計算時間は26%削減された。
論文 参考訳(メタデータ) (2023-07-16T04:27:03Z) - Fully Sparse Fusion for 3D Object Detection [69.32694845027927]
現在広く使われているマルチモーダル3D検出法は、通常、密度の高いBird-Eye-View特徴マップを使用するLiDARベースの検出器上に構築されている。
完全にスパースなアーキテクチャは、長距離知覚において非常に効率的であるため、注目を集めている。
本稿では,新たに出現するフルスパースアーキテクチャにおいて,画像のモダリティを効果的に活用する方法を検討する。
論文 参考訳(メタデータ) (2023-04-24T17:57:43Z) - GOOD: General Optimization-based Fusion for 3D Object Detection via
LiDAR-Camera Object Candidates [10.534984939225014]
3次元物体検出は、自律運転における知覚タスクの中核となる基礎となる。
Goodは汎用的な最適化ベースの融合フレームワークで、追加のモデルをトレーニングすることなく、満足度の高い検出を実現できる。
nuScenesとKITTIデータセットの両方の実験を行い、その結果、GOODはPointPillarsと比較してmAPスコアで9.1%上回っていることが示された。
論文 参考訳(メタデータ) (2023-03-17T07:05:04Z) - Multi-level and multi-modal feature fusion for accurate 3D object
detection in Connected and Automated Vehicles [0.8701566919381223]
本稿では,3段階特徴抽出器を用いたディープニューラルネットワークを用いた3次元物体検出モデルを提案する。
提案した特徴抽出器は、2つの入力感覚モーダルから高次特徴を抽出し、畳み込み過程に捨てられた重要な特徴を回収する。
新たな融合方式は、感覚のモダリティと畳み込み層を効果的に融合させ、最も優れたグローバルな特徴を見出す。
論文 参考訳(メタデータ) (2022-12-15T00:25:05Z) - D-Align: Dual Query Co-attention Network for 3D Object Detection Based
on Multi-frame Point Cloud Sequence [8.21339007493213]
従来の3Dオブジェクト検出器は一定期間に取得した一連の点を用いて物体を検出する。
近年の研究では、点雲列を利用して物体検出の性能をさらに向上できることが示されている。
D-Alignは,一連の点集合から得られる特徴を調整・集約することで,鳥眼視(BEV)の特徴を効果的に生み出すことができる。
論文 参考訳(メタデータ) (2022-09-30T20:41:25Z) - EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object
Detection [56.03081616213012]
本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。
提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。
KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
論文 参考訳(メタデータ) (2021-12-21T10:48:34Z) - Improving 3D Object Detection with Channel-wise Transformer [58.668922561622466]
我々は手作りの最小限の設計で2段階の3Dオブジェクト検出フレームワーク(CT3D)を提案する。
CT3Dは、提案対応の埋め込みとチャンネルワイドコンテキストアグリゲーションを同時に行う。
これはKITTIテスト3D検出ベンチマークで中等車カテゴリーで81.77%のAPを達成した。
論文 参考訳(メタデータ) (2021-08-23T02:03:40Z) - Deep Continuous Fusion for Multi-Sensor 3D Object Detection [103.5060007382646]
本稿では,LIDARとカメラを併用して高精度な位置検出を実現する3Dオブジェクト検出器を提案する。
我々は,連続畳み込みを利用して画像とlidar特徴マップを異なるレベルの解像度で融合する,エンドツーエンド学習可能なアーキテクチャを設計した。
論文 参考訳(メタデータ) (2020-12-20T18:43:41Z) - End-to-End Object Detection with Fully Convolutional Network [71.56728221604158]
エンドツーエンド検出を実現するために,分類のための予測対応ワン・ツー・ワン (POTO) ラベルの割り当てを導入する。
局所領域における畳み込みの判別性を向上させるために, 簡易な3次元maxフィルタ(3dmf)を提案する。
エンドツーエンドのフレームワークは,COCOおよびCrowdHumanデータセット上のNMSを用いて,最先端の多くの検出器と競合する性能を実現する。
論文 参考訳(メタデータ) (2020-12-07T09:14:55Z) - Boundary-Aware Dense Feature Indicator for Single-Stage 3D Object
Detection from Point Clouds [32.916690488130506]
本稿では,3次元検出器が境界を意識して点雲の最も密集した領域に焦点を合わせるのを支援する普遍モジュールを提案する。
KITTIデータセットの実験により、DENFIはベースライン単段検出器の性能を著しく改善することが示された。
論文 参考訳(メタデータ) (2020-04-01T01:21:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。