論文の概要: MSF: Motion-guided Sequential Fusion for Efficient 3D Object Detection
from Point Cloud Sequences
- arxiv url: http://arxiv.org/abs/2303.08316v1
- Date: Wed, 15 Mar 2023 02:10:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 15:05:44.852250
- Title: MSF: Motion-guided Sequential Fusion for Efficient 3D Object Detection
from Point Cloud Sequences
- Title（参考訳）: MSF:ポイントクラウドシーケンスからの効率的な3次元物体検出のための運動誘導シーケンスフュージョン
- Authors: Chenhang He, Ruihuang Li, Yabin Zhang, Shuai Li, Lei Zhang
- Abstract要約: ポイントクラウドシーケンスは、自律運転のようなアプリケーションにおける3Dオブジェクトを正確に検出するために一般的に使用される。
このフレームワークはシーケンスの各フレームから特徴を抽出し、それらを融合して現在のフレーム内のオブジェクトを検出する。
本研究では,現在のフレームにおけるオブジェクト検出に有用な逐次コンテキストをマイニングするために,オブジェクトの動きの連続性を利用した効率的な動作誘導逐次融合(MSF)法を提案する。
- 参考スコア（独自算出の注目度）: 21.50329070835023
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Point cloud sequences are commonly used to accurately detect 3D objects in
applications such as autonomous driving. Current top-performing multi-frame
detectors mostly follow a Detect-and-Fuse framework, which extracts features
from each frame of the sequence and fuses them to detect the objects in the
current frame. However, this inevitably leads to redundant computation since
adjacent frames are highly correlated. In this paper, we propose an efficient
Motion-guided Sequential Fusion (MSF) method, which exploits the continuity of
object motion to mine useful sequential contexts for object detection in the
current frame. We first generate 3D proposals on the current frame and
propagate them to preceding frames based on the estimated velocities. The
points-of-interest are then pooled from the sequence and encoded as proposal
features. A novel Bidirectional Feature Aggregation (BiFA) module is further
proposed to facilitate the interactions of proposal features across frames.
Besides, we optimize the point cloud pooling by a voxel-based sampling
technique so that millions of points can be processed in several milliseconds.
The proposed MSF method achieves not only better efficiency than other
multi-frame detectors but also leading accuracy, with 83.12% and 78.30% mAP on
the LEVEL1 and LEVEL2 test sets of Waymo Open Dataset, respectively. Codes can
be found at \url{https://github.com/skyhehe123/MSF}.
- Abstract（参考訳）: ポイントクラウドシーケンスは、自動運転のようなアプリケーションの3dオブジェクトを正確に検出するために一般的に使用される。
現在のトップパフォーマンスマルチフレーム検出器は、主に検出・アンド・ヒューズフレームワークに従っており、シーケンスの各フレームから特徴を抽出し、それらを融合して現在のフレーム内のオブジェクトを検出する。
しかし、隣接するフレームは高い相関関係にあるため、必然的に冗長な計算に繋がる。
本稿では,物体の動きの連続性を活かし,現在のフレームにおける物体検出に有用な逐次的文脈を探索する,効率的な動き誘導型シーケンシャル融合(msf)法を提案する。
まず,現在のフレーム上で3次元の提案を生成し,推定速度に基づいて先行するフレームに伝達する。
興味のポイントはシーケンスからプールされ、提案機能としてエンコードされる。
フレーム間における提案機能間の相互作用を容易にするために,新しいBidirectional Feature Aggregation (BiFA) モジュールが提案されている。
さらに,数ミリ秒で数百万の点を処理できるように,ボクセルを用いたサンプリング手法により点雲プーリングを最適化する。
提案手法は、他のマルチフレーム検出器よりも効率が良く、Waymo Open Dataset の LEVEL1 と LEVEL2 の 83.12% と 78.30% の mAP で、精度も向上している。
コードは \url{https://github.com/skyhehe123/MSF} で見ることができる。
関連論文リスト
- 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D
Point Clouds [95.54285993019843]
本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。
本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
論文 参考訳（メタデータ） (2022-11-01T20:59:38Z) - Towards Frame Rate Agnostic Multi-Object Tracking [76.82407173177138]
フレームレート非依存MOT(FraMOT)の問題に対処するために、周期的トレーニングスキーム(FAPS)を用いたフレームレート非依存MOTフレームワークを提案する。
具体的には,フレームレートアグノスティックアソシエーションモジュール (FAAM) を提案する。
さらに、トレーニングに含まれない後処理ステップが低いフレームレートシナリオに大きな違いをもたらすため、トレーニングと推論の相関ギャップがFraMOTで拡大される。
論文 参考訳（メタデータ） (2022-09-23T04:25:19Z) - FFPA-Net: Efficient Feature Fusion with Projection Awareness for 3D
Object Detection [19.419030878019974]
構造化されていない3D点雲は2D平面に充填され、3D点雲はプロジェクション対応の畳み込み層を用いて高速に抽出される。
データ前処理において、異なるセンサ信号間の対応するインデックスを予め設定する。
2つの新しいプラグアンドプレイ融合モジュールLiCamFuseとBiLiCamFuseが提案されている。
論文 参考訳（メタデータ） (2022-09-15T16:13:19Z) - Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in
Driving Scenes [82.4186966781934]
Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。
Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。
無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-08-18T03:48:58Z) - TransPillars: Coarse-to-Fine Aggregation for Multi-Frame 3D Object
Detection [47.941714033657675]
ポイントクラウドを用いた3Dオブジェクト検出は、自律走行とロボット工学に広く応用されているため、注目を集めている。
連続点雲フレームの時間的特徴を生かしたトランスピラース(TransPillars)を設計する。
提案するTransPillarsは,既存のマルチフレーム検出手法と比較して最先端性能を実現する。
論文 参考訳（メタデータ） (2022-08-04T15:41:43Z) - Boosting Single-Frame 3D Object Detection by Simulating Multi-Frame
Point Clouds [47.488158093929904]
我々は,マルチフレーム点雲上で訓練された検出器に追従して,特徴と応答をシミュレートするために検出器を訓練する新しい手法を提案する。
このアプローチでは,単一フレーム検出装置のトレーニング時にのみマルチフレームポイントクラウドが必要であり,一度トレーニングすれば,単一フレームポイントクラウドのみをインプットとして検出することができる。
論文 参考訳（メタデータ） (2022-07-03T12:59:50Z) - MPPNet: Multi-Frame Feature Intertwining with Proxy Points for 3D
Temporal Object Detection [44.619039588252676]
本稿では,ポイントクラウドシーケンスを用いた3次元時間的物体検出のための,MPPNetと呼ばれる柔軟で高性能な3D検出フレームワークを提案する。
マルチフレーム特徴符号化のためのプロキシポイントと,より優れた検出を実現するためのインタラクションを備えた,新しい3階層フレームワークを提案する。
提案手法は,ショート(4フレームなど)およびロング(16フレームなど)のクラウドシーケンスに適用した場合,最先端の手法よりも大きなマージンを持つ。
論文 参考訳（メタデータ） (2022-05-12T09:38:42Z) - Segment as Points for Efficient Online Multi-Object Tracking and
Segmentation [66.03023110058464]
本稿では,コンパクトな画像表現を非秩序な2次元点クラウド表現に変換することで,セグメントに基づくインスタンス埋め込みの学習に有効な方法を提案する。
本手法は,画像ではなく,ランダムに選択された点から識別インスタンスの埋め込みを学習する,新たなトラッキング・バイ・ポイントのパラダイムを生成する。
PointTrackという名前のオンラインMOTSフレームワークは、最先端のすべてのメソッドを大きなマージンで上回っている。
論文 参考訳（メタデータ） (2020-07-03T08:29:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。