論文の概要: Real-time 3D Single Object Tracking with Transformer
- arxiv url: http://arxiv.org/abs/2209.00860v1
- Date: Fri, 2 Sep 2022 07:36:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-05 12:34:15.670881
- Title: Real-time 3D Single Object Tracking with Transformer
- Title（参考訳）: トランスを用いたリアルタイム3次元物体追跡
- Authors: Jiayao Shan, Sifan Zhou, Yubo Cui, Zheng Fang
- Abstract要約: Point-Track-Transformer (PTT) は、ポイントクラウドベースの3Dオブジェクト追跡タスクのためのモジュールである。
PTTモジュールは、注意重みの計算により微調整された注意特徴を生成する。
PTT-Netでは、投票段階と提案段階にPTTを組み込む。
- 参考スコア（独自算出の注目度）: 5.000768859809606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LiDAR-based 3D single object tracking is a challenging issue in robotics and
autonomous driving. Currently, existing approaches usually suffer from the
problem that objects at long distance often have very sparse or
partially-occluded point clouds, which makes the features extracted by the
model ambiguous. Ambiguous features will make it hard to locate the target
object and finally lead to bad tracking results. To solve this problem, we
utilize the powerful Transformer architecture and propose a
Point-Track-Transformer (PTT) module for point cloud-based 3D single object
tracking task. Specifically, PTT module generates fine-tuned attention features
by computing attention weights, which guides the tracker focusing on the
important features of the target and improves the tracking ability in complex
scenarios. To evaluate our PTT module, we embed PTT into the dominant method
and construct a novel 3D SOT tracker named PTT-Net. In PTT-Net, we embed PTT
into the voting stage and proposal generation stage, respectively. PTT module
in the voting stage could model the interactions among point patches, which
learns context-dependent features. Meanwhile, PTT module in the proposal
generation stage could capture the contextual information between object and
background. We evaluate our PTT-Net on KITTI and NuScenes datasets.
Experimental results demonstrate the effectiveness of PTT module and the
superiority of PTT-Net, which surpasses the baseline by a noticeable margin,
~10% in the Car category. Meanwhile, our method also has a significant
performance improvement in sparse scenarios. In general, the combination of
transformer and tracking pipeline enables our PTT-Net to achieve
state-of-the-art performance on both two datasets. Additionally, PTT-Net could
run in real-time at 40FPS on NVIDIA 1080Ti GPU. Our code is open-sourced for
the research community at https://github.com/shanjiayao/PTT.
- Abstract（参考訳）: LiDARベースの3Dオブジェクトトラッキングは、ロボティクスと自動運転において難しい問題である。
現在、既存のアプローチは、遠方の物体がしばしば非常に疎いあるいは部分的に隠された点雲を持つという問題に悩まされており、モデルによって抽出された特徴は曖昧である。
あいまいな機能はターゲットオブジェクトを見つけるのを難しくし、最終的に追跡結果が悪くなる。
この問題を解決するために,強力なトランスフォーマーアーキテクチャを用い,ポイントクラウドベースの3次元オブジェクト追跡タスクのためのポイント・トラック・トランスフォーマー(PTT)モジュールを提案する。
具体的には、pttモジュールは注意重みを計算して微調整された注意機能を生成し、ターゲットの重要な特徴に焦点を当て、複雑なシナリオにおけるトラッキング能力を向上させる。
PTTモジュールを評価するために,本手法にPTTを組み込み,PTT-Netという新しい3次元SOTトラッカーを構築する。
PTT-Net では,それぞれ投票段階に PTT を組込み,提案生成段階に組み込む。
投票段階のpttモジュールは、コンテキスト依存の機能を学ぶポイントパッチ間のインタラクションをモデル化することができる。
一方、提案生成段階のTTモジュールは、オブジェクトとバックグラウンドの間のコンテキスト情報をキャプチャすることができる。
我々は,KITTIおよびNuScenesデータセット上でPTT-Netを評価する。
実験の結果、pttモジュールの有効性とptt-netの優位性が示され、これは車種で約10%のマージンでベースラインを上回っている。
一方,本手法はスパースシナリオにおいて性能が大幅に向上する。
一般的に、トランスフォーマーとトラッキングパイプラインの組み合わせにより、PTT-Netは両方のデータセットで最先端のパフォーマンスを達成できます。
さらに、PTT-NetはNVIDIA 1080Ti GPU上で40FPSでリアルタイムに実行できる。
私たちのコードは、https://github.com/shanjiayao/PTT.comで研究コミュニティのためにオープンソース化されています。
関連論文リスト
- PVAFN: Point-Voxel Attention Fusion Network with Multi-Pooling Enhancing for 3D Object Detection [59.355022416218624]
点とボクセルの表現の統合は、LiDARベースの3Dオブジェクト検出においてより一般的になりつつある。
PVAFN(Point-Voxel Attention Fusion Network)と呼ばれる新しい2段3次元物体検出器を提案する。
PVAFNはマルチプール戦略を使用して、マルチスケールとリージョン固有の情報を効果的に統合する。
論文 参考訳（メタデータ） (2024-08-26T19:43:01Z) - PillarTrack: Redesigning Pillar-based Transformer Network for Single Object Tracking on Point Clouds [5.524413892353708]
LiDARベースの3Dオブジェクトトラッキング(3D SOT)は、ロボット工学と自動運転において重要な問題である。
柱型3Dオブジェクト追跡フレームワークであるPillarTrackを提案する。
PillarTrackは、KITTIとnuScenesデータセットで最先端のパフォーマンスを実現し、リアルタイムトラッキング速度を実現する。
論文 参考訳（メタデータ） (2024-04-11T06:06:56Z) - PTT: Point-Trajectory Transformer for Efficient Temporal 3D Object Detection [66.94819989912823]
時間的3次元物体検出を効率的に行うために,長期記憶が可能な点トラジェクトリ変換器を提案する。
私たちは、メモリバンクのストレージ要件を最小限に抑えるために、現在のフレームオブジェクトのポイントクラウドとその履歴トラジェクトリを入力として使用します。
大規模データセットに対する広範な実験を行い、我々のアプローチが最先端の手法に対してうまく機能することを実証した。
論文 参考訳（メタデータ） (2023-12-13T18:59:13Z) - Position-guided Text Prompt for Vision-Language Pre-training [121.15494549650548]
本研究では,ビジョンランゲージ・プレトレーニングで訓練したクロスモーダルモデルの視覚的グラウンド化能力を高めるために,位置誘導型テキストプロンプト(PTP)パラダイムを提案する。
PTPは、与えられたブロック内のオブジェクトを予測したり、与えられたオブジェクトのブロックを後退させたりすることで、PTPが与えられた視覚的グラウンドタスクを補充するブランク問題に再構成する。
PTPはオブジェクト検出をベースとした手法で同等の結果を得るが、PTPがオブジェクト検出を破棄し、後続では不可能になるため、推論速度ははるかに速い。
論文 参考訳（メタデータ） (2022-12-19T18:55:43Z) - Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object
Detection and Tracking [53.64390261936975]
我々はオブジェクトの検出と追跡を共同で解決するスパース時間R-CNNであるMinkowski Trackerを提案する。
領域ベースCNN(R-CNN)に着想を得て,物体検出器R-CNNの第2段階として動きを追跡することを提案する。
大規模実験では,本手法の総合的な性能向上は4つの要因によることがわかった。
論文 参考訳（メタデータ） (2022-08-22T04:47:40Z) - Exploring Point-BEV Fusion for 3D Point Cloud Object Tracking with
Transformer [62.68401838976208]
3Dオブジェクトトラッキングは、オブジェクトテンプレートが与えられた連続したフレームにおけるオブジェクトの位置と向きを予測することを目的としている。
トランスの成功に触発されたPTTR(Point Tracking TRansformer)を提案する。
論文 参考訳（メタデータ） (2022-08-10T08:36:46Z) - PiFeNet: Pillar-Feature Network for Real-Time 3D Pedestrian Detection
from Point Cloud [64.12626752721766]
点雲からの歩行者検出に有効なリアルタイム3D検出器であるPiFeNetを提案する。
歩行者を検知する際の3次元物体検出フレームワークが直面する課題として, 柱の特徴の少ない点と, 点群における歩行者の占有面積の小さい点があげられる。
提案手法は,26fps/秒(FPS)で走行しながら,KITTI歩行者BEVと3Dリーダーボードで第1位にランクされ,Nuscenes検出ベンチマークの最先端性能を実現している。
論文 参考訳（メタデータ） (2021-12-31T13:41:37Z) - PTTR: Relational 3D Point Cloud Object Tracking with Transformer [37.06516957454285]
ポイントクラウドシーケンスでは、3Dオブジェクトトラッキングは、テンプレートポイントクラウドが与えられた現在の検索ポイントクラウド内のオブジェクトの位置と向きを予測することを目的としている。
本稿では,高品位な3次元追跡結果を粗い方法で効率的に予測し,変圧器操作の助けを借りて,ポイントトラッキングTRansformer (PTTR)を提案する。
論文 参考訳（メタデータ） (2021-12-06T08:28:05Z) - PTT: Point-Track-Transformer Module for 3D Single Object Tracking in
Point Clouds [7.482036504835097]
ポイントクラウドベースの3Dオブジェクトトラッキングのためのポイントトラックトランスフォーマー(PTT)。
PTTモジュールには、機能埋め込み、位置エンコーディング、自己保持機能のための3つのブロックが含まれている。
われわれのPTT-Netは、最先端のマージン(10%)を突破した
論文 参考訳（メタデータ） (2021-08-14T03:24:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。