論文の概要: Boosting Single-Frame 3D Object Detection by Simulating Multi-Frame
Point Clouds
- arxiv url: http://arxiv.org/abs/2207.01030v1
- Date: Sun, 3 Jul 2022 12:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 15:25:07.441656
- Title: Boosting Single-Frame 3D Object Detection by Simulating Multi-Frame
Point Clouds
- Title(参考訳): マルチフレーム点雲シミュレーションによる単一フレーム3次元物体検出の高速化
- Authors: Wu Zheng, Li Jiang, Fanbin Lu, Yangyang Ye, Chi-Wing Fu
- Abstract要約: 我々は,マルチフレーム点雲上で訓練された検出器に追従して,特徴と応答をシミュレートするために検出器を訓練する新しい手法を提案する。
このアプローチでは,単一フレーム検出装置のトレーニング時にのみマルチフレームポイントクラウドが必要であり,一度トレーニングすれば,単一フレームポイントクラウドのみをインプットとして検出することができる。
- 参考スコア(独自算出の注目度): 47.488158093929904
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: To boost a detector for single-frame 3D object detection, we present a new
approach to train it to simulate features and responses following a detector
trained on multi-frame point clouds. Our approach needs multi-frame point
clouds only when training the single-frame detector, and once trained, it can
detect objects with only single-frame point clouds as inputs during the
inference. We design a novel Simulated Multi-Frame Single-Stage object Detector
(SMF-SSD) framework to realize the approach: multi-view dense object fusion to
densify ground-truth objects to generate a multi-frame point cloud;
self-attention voxel distillation to facilitate one-to-many knowledge transfer
from multi- to single-frame voxels; multi-scale BEV feature distillation to
transfer knowledge in low-level spatial and high-level semantic BEV features;
and adaptive response distillation to activate single-frame responses of high
confidence and accurate localization. Experimental results on the Waymo test
set show that our SMF-SSD consistently outperforms all state-of-the-art
single-frame 3D object detectors for all object classes of difficulty levels 1
and 2 in terms of both mAP and mAPH.
- Abstract(参考訳): 単体3次元物体検出のための検出器を強化するため,マルチフレーム点雲で訓練した検出器に追従した特徴と応答をシミュレートする新しい手法を提案する。
このアプローチでは,単一フレーム検出装置のトレーニング時にのみマルチフレームポイントクラウドが必要であり,一度トレーニングすれば,単一フレームポイントクラウドのみをインプットとして検出することができる。
We design a novel Simulated Multi-Frame Single-Stage object Detector (SMF-SSD) framework to realize the approach: multi-view dense object fusion to densify ground-truth objects to generate a multi-frame point cloud; self-attention voxel distillation to facilitate one-to-many knowledge transfer from multi- to single-frame voxels; multi-scale BEV feature distillation to transfer knowledge in low-level spatial and high-level semantic BEV features; and adaptive response distillation to activate single-frame responses of high confidence and accurate localization.
Waymoテストセットの実験結果から、SMF-SSDは、mAPとmAPHの両方の観点から、困難レベル1と2の全てのオブジェクトクラスに対して、最先端の1フレーム3Dオブジェクト検出器を一貫して上回っていることがわかった。
関連論文リスト
- MSF: Motion-guided Sequential Fusion for Efficient 3D Object Detection
from Point Cloud Sequences [21.50329070835023]
ポイントクラウドシーケンスは、自律運転のようなアプリケーションにおける3Dオブジェクトを正確に検出するために一般的に使用される。
このフレームワークはシーケンスの各フレームから特徴を抽出し、それらを融合して現在のフレーム内のオブジェクトを検出する。
本研究では,現在のフレームにおけるオブジェクト検出に有用な逐次コンテキストをマイニングするために,オブジェクトの動きの連続性を利用した効率的な動作誘導逐次融合(MSF)法を提案する。
論文 参考訳(メタデータ) (2023-03-15T02:10:27Z) - Model-Agnostic Hierarchical Attention for 3D Object Detection [81.33112745926113]
変圧器を用いた3次元検出器のためのモジュラー化階層設計として,2つの新しい注意機構を提案する。
異なるスケールで機能学習を可能にするために,単一スケールの入力機能から複数スケールのトークンを構築するシンプルなマルチスケールアテンションを提案する。
局所的特徴集約のために,各バウンディングボックスの提案に対して適応的なアテンション範囲を持つサイズ適応型局所アテンションを提案する。
論文 参考訳(メタデータ) (2023-01-06T18:52:12Z) - A Simple Baseline for Multi-Camera 3D Object Detection [94.63944826540491]
周囲のカメラで3Dオブジェクトを検出することは、自動運転にとって有望な方向だ。
マルチカメラオブジェクト検出のための簡易ベースラインであるSimMODを提案する。
我々は, nuScenes の3次元オブジェクト検出ベンチマークにおいて, SimMOD の有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2022-08-22T03:38:01Z) - TransPillars: Coarse-to-Fine Aggregation for Multi-Frame 3D Object
Detection [47.941714033657675]
ポイントクラウドを用いた3Dオブジェクト検出は、自律走行とロボット工学に広く応用されているため、注目を集めている。
連続点雲フレームの時間的特徴を生かしたトランスピラース(TransPillars)を設計する。
提案するTransPillarsは,既存のマルチフレーム検出手法と比較して最先端性能を実現する。
論文 参考訳(メタデータ) (2022-08-04T15:41:43Z) - Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。
このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。
nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-06-30T01:44:30Z) - Fully Convolutional One-Stage 3D Object Detection on LiDAR Range Images [96.66271207089096]
FCOS-LiDARは、自律走行シーンのLiDAR点雲のための完全な1段式3Dオブジェクト検出器である。
標準的な2Dコンボリューションを持つRVベースの3D検出器は、最先端のBEVベースの検出器と同等の性能を発揮することを示す。
論文 参考訳(メタデータ) (2022-05-27T05:42:16Z) - Multi-Frame to Single-Frame: Knowledge Distillation for 3D Object
Detection [36.238956089801825]
我々は、知識蒸留を用いて、訓練時に高品質な入力で訓練されたモデルと、推論時に低品質な入力で試験されたモデルとのギャップを埋める。
まず、トレーニング時にのみ利用可能な余分な情報を用いて複数のフレームから生成された高密度点雲上で物体検出モデルを訓練する。
そして、両方のモデルの特徴に対して一貫性のある規則化を施し、スパース単一フレームの点群で同じモデルを訓練する。
論文 参考訳(メタデータ) (2020-09-24T17:59:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。