論文の概要: EasyTrack: Efficient and Compact One-stream 3D Point Clouds Tracker
- arxiv url: http://arxiv.org/abs/2404.05960v1
- Date: Tue, 9 Apr 2024 02:47:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 16:08:32.979402
- Title: EasyTrack: Efficient and Compact One-stream 3D Point Clouds Tracker
- Title(参考訳): EasyTrack: 効率的でコンパクトなワンストリーム3Dポイントクラウドトラッカー
- Authors: Baojie Fan, Wuyang Zhou, Kai Wang, Shijun Zhou, Fengyu Xu, Jiandong Tian,
- Abstract要約: そこで本稿では,TextbfEasyTrackと呼ばれる,簡潔でコンパクトな1ストリームトランスフォーマ3D SOTパラダイムを提案する。
3Dポイントクラウド追跡機能付き事前学習モジュールを開発し、3Dポイントクラウド追跡表現の学習にマスク付きオートエンコーディングを利用する。
密集した鳥眼ビュー(BEV)特徴空間における目標位置ネットワークを構築し、目標分類と回帰を行う。
- 参考スコア(独自算出の注目度): 35.74677036815288
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most of 3D single object trackers (SOT) in point clouds follow the two-stream multi-stage 3D Siamese or motion tracking paradigms, which process the template and search area point clouds with two parallel branches, built on supervised point cloud backbones. In this work, beyond typical 3D Siamese or motion tracking, we propose a neat and compact one-stream transformer 3D SOT paradigm from the novel perspective, termed as \textbf{EasyTrack}, which consists of three special designs: 1) A 3D point clouds tracking feature pre-training module is developed to exploit the masked autoencoding for learning 3D point clouds tracking representations. 2) A unified 3D tracking feature learning and fusion network is proposed to simultaneously learns target-aware 3D features, and extensively captures mutual correlation through the flexible self-attention mechanism. 3) A target location network in the dense bird's eye view (BEV) feature space is constructed for target classification and regression. Moreover, we develop an enhanced version named EasyTrack++, which designs the center points interaction (CPI) strategy to reduce the ambiguous targets caused by the noise point cloud background information. The proposed EasyTrack and EasyTrack++ set a new state-of-the-art performance ($\textbf{18\%}$, $\textbf{40\%}$ and $\textbf{3\%}$ success gains) in KITTI, NuScenes, and Waymo while runing at \textbf{52.6fps} with few parameters (\textbf{1.3M}). The code will be available at https://github.com/KnightApple427/Easytrack.
- Abstract(参考訳): ポイントクラウド内の3Dシングルオブジェクトトラッカー(SOT)のほとんどは、2ストリームのマルチステージ3Dシームス(Motion Tracking)パラダイムに従っており、テンプレートと検索領域のポイントクラウドを2つの並列ブランチで処理し、監督されたポイントクラウドのバックボーン上に構築する。
本研究は,典型的な3Dシームズやモーショントラッキング以外にも,新しい視点から,3つの特殊設計からなる「textbf{EasyTrack}」と呼ばれる,簡潔でコンパクトな1ストリームトランスフォーマー3D SOTパラダイムを提案する。
1)3Dポイントクラウド追跡機能付き事前学習モジュールを開発し、3Dポイントクラウド追跡表現の学習にマスク付きオートエンコーディングを利用する。
2) 目標認識型3次元特徴を同時に学習し, フレキシブルな自己認識機構を通じて相互相関を広範囲に捉えるために, 統合された3次元追跡特徴学習・融合ネットワークを提案する。
3)高密度鳥眼ビュー(BEV)特徴空間における目標位置ネットワークを構築し,目標分類と回帰を行う。
さらに,ノイズポイント雲の背景情報による不明瞭なターゲットを減らすために,中心点相互作用(CPI)戦略を設計するEasyTrack++という拡張版を開発した。
提案されたEasyTrackとEasyTrack++は、KITTI、NuScenes、Waymoで、いくつかのパラメータを持つ \textbf{52.6fps} で実行中に、新しい最先端のパフォーマンス($\textbf{18\%}$, $\textbf{40\%}$, $\textbf{3\%}$ success gains)を設定した。
コードはhttps://github.com/KnightApple427/Easytrack.comから入手できる。
関連論文リスト
- PillarTrack: Redesigning Pillar-based Transformer Network for Single Object Tracking on Point Clouds [5.524413892353708]
LiDARベースの3Dオブジェクトトラッキング(3D SOT)は、ロボット工学と自動運転において重要な問題である。
柱型3Dオブジェクト追跡フレームワークであるPillarTrackを提案する。
PillarTrackは、KITTIとnuScenesデータセットで最先端のパフォーマンスを実現し、リアルタイムトラッキング速度を実現する。
論文 参考訳(メタデータ) (2024-04-11T06:06:56Z) - SeqTrack3D: Exploring Sequence Information for Robust 3D Point Cloud
Tracking [26.405519771454102]
本稿では,SeqTrack3DというトラッカーとSequence-to-Sequenceトラッキングパラダイムを導入し,連続フレーム間の目標運動をキャプチャする。
本手法は, 重要点の少ないシーンにおいても, 歴史的ボックスからの位置情報を有効活用することにより, ロバストなトラッキングを実現する。
大規模なデータセットで実施された実験は、SeqTrack3Dが新しい最先端のパフォーマンスを実現することを示している。
論文 参考訳(メタデータ) (2024-02-26T02:14:54Z) - BEVTrack: A Simple and Strong Baseline for 3D Single Object Tracking in Bird's-Eye View [56.77287041917277]
3Dシングルオブジェクトトラッキング(SOT)はコンピュータビジョンの基本課題であり、自律運転のようなアプリケーションに不可欠なことを証明している。
本稿では,単純で効果的なベースライン手法であるBEVTrackを提案する。
Bird's-Eye View (BEV) における目標運動を推定して追跡を行うことにより、BEVTrackは、ネットワーク設計、トレーニング目標、トラッキングパイプラインなど、様々な側面から驚くほどの単純さを示しながら、優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-09-05T12:42:26Z) - EPCL: Frozen CLIP Transformer is An Efficient Point Cloud Encoder [60.52613206271329]
本稿では,冷凍CLIP変換器を用いて高品質のクラウドモデルをトレーニングするための textbfEfficient textbfPoint textbfCloud textbfLearning (EPCL) を提案する。
我々のEPCLは、2D-3Dデータをペア化せずに画像の特徴と点雲の特徴を意味的に整合させることで、2Dと3Dのモダリティを接続する。
論文 参考訳(メタデータ) (2022-12-08T06:27:11Z) - Exploiting More Information in Sparse Point Cloud for 3D Single Object
Tracking [9.693724357115762]
3Dオブジェクトトラッキングは、3Dコンピュータビジョンにおける重要なタスクである。
点雲の空間性は、類似性を計算し、対象を見つけるのを難しくする。
本稿では3次元オブジェクト追跡のためのスパース・トゥ・デンス・トランスフォーマー・ベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-02T13:38:30Z) - Beyond 3D Siamese Tracking: A Motion-Centric Paradigm for 3D Single
Object Tracking in Point Clouds [39.41305358466479]
LiDARポイントクラウドにおける3Dオブジェクトトラッキングは、自動運転において重要な役割を果たす。
現在のアプローチはすべて、外観マッチングに基づくシームズパラダイムに従っている。
新しい視点から3D SOTを扱うための動き中心のパラダイムを導入する。
論文 参考訳(メタデータ) (2022-03-03T14:20:10Z) - Voint Cloud: Multi-View Point Cloud Representation for 3D Understanding [80.04281842702294]
本稿では,複数の視点から抽出した特徴の集合として,各3次元点を表す多視点クラウド(Voint Cloud)の概念を紹介する。
この新しい3次元Vointクラウド表現は、3Dポイントクラウド表現のコンパクト性と、マルチビュー表現の自然なビュー認識性を組み合わせたものである。
理論的に確立された機能を持つVointニューラルネットワーク(VointNet)をデプロイし,Voint空間の表現を学習する。
論文 参考訳(メタデータ) (2021-11-30T13:08:19Z) - Anchor-free 3D Single Stage Detector with Mask-Guided Attention for
Point Cloud [79.39041453836793]
我々は、点雲をアンカーフリーで検出する新しい1段3次元検出器を開発した。
ボクセルをベースとしたスパース3D特徴量からスパース2D特徴量マップに変換することでこれを克服する。
検出信頼度スコアとバウンディングボックス回帰の精度との相関性を改善するために,IoUに基づく検出信頼度再校正手法を提案する。
論文 参考訳(メタデータ) (2021-08-08T13:42:13Z) - PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object
Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21) [68.12101204123422]
点雲は3次元座標における空間データの密集したコンパイルである。
我々は3次元多目的追跡(MOT)のためのPointNetベースのアプローチを提案する。
論文 参考訳(メタデータ) (2021-06-03T05:36:39Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-12T15:30:02Z) - PointTrackNet: An End-to-End Network For 3-D Object Detection and
Tracking From Point Clouds [13.174385375232161]
エンドツーエンドの3次元物体検出・追跡ネットワークであるPointTrackNetを提案する。
検出対象ごとに、前景マスク、3D境界ボックス、ポイントワイド関連変位を生成する。
論文 参考訳(メタデータ) (2020-02-26T15:19:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。