論文の概要: Boosting 3D Object Detection with Semantic-Aware Multi-Branch Framework

• arxiv url: http://arxiv.org/abs/2407.05769v2
• Date: Fri, 08 Nov 2024 14:17:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:52:20.105258
• Title: Boosting 3D Object Detection with Semantic-Aware Multi-Branch Framework
• Title（参考訳）: 意味認識型マルチブランチフレームワークによる3次元物体検出の高速化
• Authors: Hao Jing, Anhong Wang, Lijun Zhao, Yakun Yang, Donghan Bu, Jing Zhang, Yifan Zhang, Junhui Hou,
• Abstract要約: 自律走行では、LiDARセンサーは3Dポイントの雲の取得に不可欠であり、信頼できる幾何学的情報を提供する。 従来の前処理のサンプリング手法は意味的特徴を無視することが多く、詳細な損失や接地点干渉を引き起こす。 本稿では,Semantic-aware Multi-branch Smpling (SMS)モジュールとマルチビュー制約を用いたマルチブランチ2次元オブジェクト検出フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 44.44329455757931
• License:
• Abstract: In autonomous driving, LiDAR sensors are vital for acquiring 3D point clouds, providing reliable geometric information. However, traditional sampling methods of preprocessing often ignore semantic features, leading to detail loss and ground point interference in 3D object detection. To address this, we propose a multi-branch two-stage 3D object detection framework using a Semantic-aware Multi-branch Sampling (SMS) module and multi-view consistency constraints. The SMS module includes random sampling, Density Equalization Sampling (DES) for enhancing distant objects, and Ground Abandonment Sampling (GAS) to focus on non-ground points. The sampled multi-view points are processed through a Consistent KeyPoint Selection (CKPS) module to generate consistent keypoint masks for efficient proposal sampling. The first-stage detector uses multi-branch parallel learning with multi-view consistency loss for feature aggregation, while the second-stage detector fuses multi-view data through a Multi-View Fusion Pooling (MVFP) module to precisely predict 3D objects. The experimental results on the KITTI dataset and Waymo Open Dataset show that our method achieves excellent detection performance improvement for a variety of backbones, especially for low-performance backbones with the simple network structures.
• Abstract（参考訳）: 自律走行では、LiDARセンサーは3Dポイントの雲の取得に不可欠であり、信頼できる幾何学的情報を提供する。 しかし、従来の前処理のサンプリング法は意味的特徴を無視することが多く、3Dオブジェクト検出における詳細な損失と接地点干渉を引き起こす。 そこで本研究では,Semantic-aware Multi-branch Sampling (SMS)モジュールとマルチビュー整合性制約を用いたマルチブランチ2次元オブジェクト検出フレームワークを提案する。 SMSモジュールは、ランダムサンプリング、遠方のオブジェクトを拡張するための密度等化サンプリング(DES)、非地上点にフォーカスするグラウンドアベンションサンプリング(GAS)を含む。 サンプル化されたマルチビューポイントは、一貫性キーポイント選択(CKPS)モジュールを介して処理され、一貫したキーポイントマスクを生成して効率的な提案サンプリングを行う。 第1段階検出器はマルチブランチ並列学習と特徴集約のためのマルチビュー整合性損失を用いており、第2段階検出器はマルチビューフュージョンプール(MVFP)モジュールを介してマルチビューデータを融合して3Dオブジェクトを正確に予測する。 KITTIデータセットとWaymo Open Datasetを用いた実験結果から,本手法は様々なバックボーン,特に単純なネットワーク構造を持つ低性能バックボーンに対して優れた検出性能を実現することが示された。

関連論文リスト

• PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest [65.48057241587398]
  PoIFusionは、関心点(PoIs)におけるRGBイメージとLiDARポイントクラウドに関する情報を融合するフレームワークである。 提案手法は,各モダリティの視点を維持し,計算にやさしいプロジェクションと計算によってマルチモーダル特徴を得る。 我々はnuScenesとArgoverse2データセットについて広範囲に実験を行い、我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2024-03-14T09:28:12Z)
• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• SCA-PVNet: Self-and-Cross Attention Based Aggregation of Point Cloud and Multi-View for 3D Object Retrieval [8.74845857766369]
  大規模データセットを用いた多モード3Dオブジェクト検索はめったに行われない。 本稿では,3次元オブジェクト検索のための点群と多視点画像の自己・横断的アグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:46:32Z)
• AOP-Net: All-in-One Perception Network for Joint LiDAR-based 3D Object Detection and Panoptic Segmentation [9.513467995188634]
  AOP-NetはLiDARベースのマルチタスクフレームワークで、3Dオブジェクトの検出とパノプティクスのセグメンテーションを組み合わせたものである。 AOP-Netは、nuScenesベンチマークにおける3Dオブジェクト検出とパノプティクスセグメンテーションの両タスクについて、最先端のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-02-02T05:31:53Z)
• 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D Point Clouds [95.54285993019843]
  本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。 本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
  論文  参考訳（メタデータ） (2022-11-01T20:59:38Z)
• D-Align: Dual Query Co-attention Network for 3D Object Detection Based on Multi-frame Point Cloud Sequence [8.21339007493213]
  従来の3Dオブジェクト検出器は一定期間に取得した一連の点を用いて物体を検出する。 近年の研究では、点雲列を利用して物体検出の性能をさらに向上できることが示されている。 D-Alignは,一連の点集合から得られる特徴を調整・集約することで,鳥眼視(BEV)の特徴を効果的に生み出すことができる。
  論文  参考訳（メタデータ） (2022-09-30T20:41:25Z)
• A Simple Baseline for Multi-Camera 3D Object Detection [94.63944826540491]
  周囲のカメラで3Dオブジェクトを検出することは、自動運転にとって有望な方向だ。 マルチカメラオブジェクト検出のための簡易ベースラインであるSimMODを提案する。 我々は, nuScenes の3次元オブジェクト検出ベンチマークにおいて, SimMOD の有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-08-22T03:38:01Z)
• Boosting Single-Frame 3D Object Detection by Simulating Multi-Frame Point Clouds [47.488158093929904]
  我々は,マルチフレーム点雲上で訓練された検出器に追従して,特徴と応答をシミュレートするために検出器を訓練する新しい手法を提案する。 このアプローチでは,単一フレーム検出装置のトレーニング時にのみマルチフレームポイントクラウドが必要であり,一度トレーニングすれば,単一フレームポイントクラウドのみをインプットとして検出することができる。
  論文  参考訳（メタデータ） (2022-07-03T12:59:50Z)
• SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection [78.90102636266276]
  SASA(Semantics-Augmented Set Abstraction)と呼ばれる新しい集合抽象化手法を提案する。 そこで本研究では, 推定点前景スコアに基づいて, より重要な前景点の維持を支援するセマンティックス誘導点サンプリングアルゴリズムを提案する。 実際には、SASAは、前景オブジェクトに関連する貴重な点を識別し、ポイントベースの3D検出のための特徴学習を改善するのに有効である。
  論文  参考訳（メタデータ） (2022-01-06T08:54:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。