論文の概要: MSF: Motion-guided Sequential Fusion for Efficient 3D Object Detection from Point Cloud Sequences

• arxiv url: http://arxiv.org/abs/2303.08316v1
• Date: Wed, 15 Mar 2023 02:10:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 15:05:44.852250
• Title: MSF: Motion-guided Sequential Fusion for Efficient 3D Object Detection from Point Cloud Sequences
• Title（参考訳）: MSF:ポイントクラウドシーケンスからの効率的な3次元物体検出のための運動誘導シーケンスフュージョン
• Authors: Chenhang He, Ruihuang Li, Yabin Zhang, Shuai Li, Lei Zhang
• Abstract要約: ポイントクラウドシーケンスは、自律運転のようなアプリケーションにおける3Dオブジェクトを正確に検出するために一般的に使用される。 このフレームワークはシーケンスの各フレームから特徴を抽出し、それらを融合して現在のフレーム内のオブジェクトを検出する。 本研究では,現在のフレームにおけるオブジェクト検出に有用な逐次コンテキストをマイニングするために,オブジェクトの動きの連続性を利用した効率的な動作誘導逐次融合(MSF)法を提案する。
• 参考スコア（独自算出の注目度）: 21.50329070835023
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Point cloud sequences are commonly used to accurately detect 3D objects in applications such as autonomous driving. Current top-performing multi-frame detectors mostly follow a Detect-and-Fuse framework, which extracts features from each frame of the sequence and fuses them to detect the objects in the current frame. However, this inevitably leads to redundant computation since adjacent frames are highly correlated. In this paper, we propose an efficient Motion-guided Sequential Fusion (MSF) method, which exploits the continuity of object motion to mine useful sequential contexts for object detection in the current frame. We first generate 3D proposals on the current frame and propagate them to preceding frames based on the estimated velocities. The points-of-interest are then pooled from the sequence and encoded as proposal features. A novel Bidirectional Feature Aggregation (BiFA) module is further proposed to facilitate the interactions of proposal features across frames. Besides, we optimize the point cloud pooling by a voxel-based sampling technique so that millions of points can be processed in several milliseconds. The proposed MSF method achieves not only better efficiency than other multi-frame detectors but also leading accuracy, with 83.12% and 78.30% mAP on the LEVEL1 and LEVEL2 test sets of Waymo Open Dataset, respectively. Codes can be found at \url{https://github.com/skyhehe123/MSF}.
• Abstract（参考訳）: ポイントクラウドシーケンスは、自動運転のようなアプリケーションの3dオブジェクトを正確に検出するために一般的に使用される。 現在のトップパフォーマンスマルチフレーム検出器は、主に検出・アンド・ヒューズフレームワークに従っており、シーケンスの各フレームから特徴を抽出し、それらを融合して現在のフレーム内のオブジェクトを検出する。 しかし、隣接するフレームは高い相関関係にあるため、必然的に冗長な計算に繋がる。 本稿では,物体の動きの連続性を活かし,現在のフレームにおける物体検出に有用な逐次的文脈を探索する,効率的な動き誘導型シーケンシャル融合(msf)法を提案する。 まず,現在のフレーム上で3次元の提案を生成し,推定速度に基づいて先行するフレームに伝達する。 興味のポイントはシーケンスからプールされ、提案機能としてエンコードされる。 フレーム間における提案機能間の相互作用を容易にするために,新しいBidirectional Feature Aggregation (BiFA) モジュールが提案されている。 さらに,数ミリ秒で数百万の点を処理できるように,ボクセルを用いたサンプリング手法により点雲プーリングを最適化する。 提案手法は、他のマルチフレーム検出器よりも効率が良く、Waymo Open Dataset の LEVEL1 と LEVEL2 の 83.12% と 78.30% の mAP で、精度も向上している。 コードは \url{https://github.com/skyhehe123/MSF} で見ることができる。

関連論文リスト

• Multiway Point Cloud Mosaicking with Diffusion and Global Optimization [74.3802812773891]
  マルチウェイポイントクラウドモザイクのための新しいフレームワーク(水曜日)を紹介する。 我々のアプローチの核心は、重複を識別し、注意点を洗練する学習されたペアワイズ登録アルゴリズムODINである。 4つの多種多様な大規模データセットを用いて、我々の手法は、全てのベンチマークにおいて大きなマージンで、最先端のペアとローテーションの登録結果を比較した。
  論文  参考訳（メタデータ） (2024-03-30T17:29:13Z)
• PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest [65.48057241587398]
  PoIFusionは、関心点(PoIs)におけるRGBイメージとLiDARポイントクラウドに関する情報を融合するフレームワークである。 提案手法は,各モダリティの視点を維持し,計算にやさしいプロジェクションと計算によってマルチモーダル特徴を得る。 我々はnuScenesとArgoverse2データセットについて広範囲に実験を行い、我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2024-03-14T09:28:12Z)
• PTT: Point-Trajectory Transformer for Efficient Temporal 3D Object Detection [66.94819989912823]
  時間的3次元物体検出を効率的に行うために,長期記憶が可能な点トラジェクトリ変換器を提案する。 私たちは、メモリバンクのストレージ要件を最小限に抑えるために、現在のフレームオブジェクトのポイントクラウドとその履歴トラジェクトリを入力として使用します。 大規模データセットに対する広範な実験を行い、我々のアプローチが最先端の手法に対してうまく機能することを実証した。
  論文  参考訳（メタデータ） (2023-12-13T18:59:13Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D Point Clouds [95.54285993019843]
  本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。 本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
  論文  参考訳（メタデータ） (2022-11-01T20:59:38Z)
• FFPA-Net: Efficient Feature Fusion with Projection Awareness for 3D Object Detection [19.419030878019974]
  構造化されていない3D点雲は2D平面に充填され、3D点雲はプロジェクション対応の畳み込み層を用いて高速に抽出される。 データ前処理において、異なるセンサ信号間の対応するインデックスを予め設定する。 2つの新しいプラグアンドプレイ融合モジュールLiCamFuseとBiLiCamFuseが提案されている。
  論文  参考訳（メタデータ） (2022-09-15T16:13:19Z)
• TransPillars: Coarse-to-Fine Aggregation for Multi-Frame 3D Object Detection [47.941714033657675]
  ポイントクラウドを用いた3Dオブジェクト検出は、自律走行とロボット工学に広く応用されているため、注目を集めている。 連続点雲フレームの時間的特徴を生かしたトランスピラース(TransPillars)を設計する。 提案するTransPillarsは,既存のマルチフレーム検出手法と比較して最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-08-04T15:41:43Z)
• MPPNet: Multi-Frame Feature Intertwining with Proxy Points for 3D Temporal Object Detection [44.619039588252676]
  本稿では,ポイントクラウドシーケンスを用いた3次元時間的物体検出のための,MPPNetと呼ばれる柔軟で高性能な3D検出フレームワークを提案する。 マルチフレーム特徴符号化のためのプロキシポイントと,より優れた検出を実現するためのインタラクションを備えた,新しい3階層フレームワークを提案する。 提案手法は,ショート(4フレームなど)およびロング(16フレームなど)のクラウドシーケンスに適用した場合,最先端の手法よりも大きなマージンを持つ。
  論文  参考訳（メタデータ） (2022-05-12T09:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。