論文の概要: JRMOT: A Real-Time 3D Multi-Object Tracker and a New Large-Scale Dataset
- arxiv url: http://arxiv.org/abs/2002.08397v4
- Date: Wed, 22 Jul 2020 07:29:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 14:30:36.143968
- Title: JRMOT: A Real-Time 3D Multi-Object Tracker and a New Large-Scale Dataset
- Title(参考訳): JRMOT:リアルタイム3Dマルチオブジェクトトラッカーと大規模データセット
- Authors: Abhijeet Shenoi, Mihir Patel, JunYoung Gwak, Patrick Goebel, Amir
Sadeghian, Hamid Rezatofighi, Roberto Mart\'in-Mart\'in, Silvio Savarese
- Abstract要約: 我々は,RGB画像と3Dポイントクラウドの情報を統合し,リアルタイムトラッキング性能を実現する新しい3DMOTシステムJRMOTを提案する。
我々の研究の一環として、新しい大規模2D+3DデータセットとベンチマークであるJRDBデータセットをリリースしました。
提案する3D MOTシステムは,一般的な2DトラッキングKITTIベンチマークにおいて,競合する手法に対する最先端性能を示す。
- 参考スコア(独自算出の注目度): 34.609125601292
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Robots navigating autonomously need to perceive and track the motion of
objects and other agents in its surroundings. This information enables planning
and executing robust and safe trajectories. To facilitate these processes, the
motion should be perceived in 3D Cartesian space. However, most recent
multi-object tracking (MOT) research has focused on tracking people and moving
objects in 2D RGB video sequences. In this work we present JRMOT, a novel 3D
MOT system that integrates information from RGB images and 3D point clouds to
achieve real-time, state-of-the-art tracking performance. Our system is built
with recent neural networks for re-identification, 2D and 3D detection and
track description, combined into a joint probabilistic data-association
framework within a multi-modal recursive Kalman architecture. As part of our
work, we release the JRDB dataset, a novel large scale 2D+3D dataset and
benchmark, annotated with over 2 million boxes and 3500 time consistent 2D+3D
trajectories across 54 indoor and outdoor scenes. JRDB contains over 60 minutes
of data including 360 degree cylindrical RGB video and 3D pointclouds in social
settings that we use to develop, train and evaluate JRMOT. The presented 3D MOT
system demonstrates state-of-the-art performance against competing methods on
the popular 2D tracking KITTI benchmark and serves as first 3D tracking
solution for our benchmark. Real-robot tests on our social robot JackRabbot
indicate that the system is capable of tracking multiple pedestrians fast and
reliably. We provide the ROS code of our tracker at
https://sites.google.com/view/jrmot.
- Abstract(参考訳): 自律的に移動するロボットは、周囲の物体や他のエージェントの動きを認識し追跡する必要がある。
この情報は、堅牢で安全な軌道の計画と実行を可能にする。
これらのプロセスを容易にするために、運動は3次元カルト空間で知覚されるべきである。
しかし、最近のMOT(Multi-object tracking)研究は、2次元RGBビデオシーケンスにおける人物の追跡と移動に焦点を当てている。
本稿では,RGB画像と3Dポイントクラウドの情報を統合し,リアルタイムかつ最先端のトラッキング性能を実現する新しい3DMOTシステムであるJRMOTを提案する。
本システムでは,最近のニューラルネットワークを用いて,再同定,2次元および3次元検出およびトラック記述を行い,マルチモーダル再帰的カルマンアーキテクチャ内の確率的データ結合フレームワークと組み合わせた。
jrdbデータセットは、屋内および屋外54のシーンで200万以上のボックスと3500時間一貫した2d+3dトラジェクタを備えた、新しい大規模2d+3dデータセットとベンチマークです。
JRDBには360度筒状RGBビデオや3Dポイントクラウドを含む60分以上のデータが含まれており、JRMOTの開発、訓練、評価に使用しています。
提案した3D MOTシステムは,一般的な2DトラッキングKITTIベンチマークにおける競合する手法に対する最先端性能を示し,我々のベンチマークにおける最初の3Dトラッキングソリューションとして機能する。
われわれのソーシャルロボットJackRabbotのリアルロボットテストによると、システムは複数の歩行者を素早く確実に追跡できる。
トラッカーのROSコードはhttps://sites.google.com/view/jrmot.orgで公開しています。
関連論文リスト
- TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。
このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
論文 参考訳(メタデータ) (2024-07-08T13:28:47Z) - ByteTrackV2: 2D and 3D Multi-Object Tracking by Associating Every
Detection Box [81.45219802386444]
マルチオブジェクトトラッキング(MOT)は、ビデオフレーム間のオブジェクトのバウンディングボックスとIDを推定することを目的としている。
低スコア検出ボックス内の真のオブジェクトをマイニングするための階層型データアソシエーション戦略を提案する。
3次元のシナリオでは、トラッカーが世界座標の物体速度を予測するのがずっと簡単である。
論文 参考訳(メタデータ) (2023-03-27T15:35:21Z) - A Lightweight and Detector-free 3D Single Object Tracker on Point Clouds [50.54083964183614]
生のLiDARスキャンにおける物体の点雲は、通常スパースで不完全であるため、正確な目標固有検出を行うのは簡単ではない。
DMTは、複雑な3D検出器の使用を完全に除去する3Dトラッキングネットワークである。
論文 参考訳(メタデータ) (2022-03-08T17:49:07Z) - 3D Visual Tracking Framework with Deep Learning for Asteroid Exploration [22.808962211830675]
本稿では,3次元追跡のための高精度かつリアルタイムな手法について検討する。
両眼ビデオシーケンス、深度マップ、様々な小惑星の点雲を含む、新しい大規模な3D小惑星追跡データセットが提示されている。
深層学習に基づく3DトラッキングフレームワークTrack3Dを提案する。このフレームワークは,2次元単分子トラッカーと,新しい軽量アモーダル軸整合バウンディングボックスネットワークであるA3BoxNetを備える。
論文 参考訳(メタデータ) (2021-11-21T04:14:45Z) - PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object
Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21) [68.12101204123422]
点雲は3次元座標における空間データの密集したコンパイルである。
我々は3次元多目的追跡(MOT)のためのPointNetベースのアプローチを提案する。
論文 参考訳(メタデータ) (2021-06-03T05:36:39Z) - Learnable Online Graph Representations for 3D Multi-Object Tracking [156.58876381318402]
3D MOT問題に対する統一型学習型アプローチを提案します。
我々は、完全にトレーニング可能なデータアソシエーションにNeural Message Passing Networkを使用します。
AMOTAの65.6%の最先端性能と58%のIDスウィッチを達成して、公開可能なnuScenesデータセットに対する提案手法のメリットを示す。
論文 参考訳(メタデータ) (2021-04-23T17:59:28Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-12T15:30:02Z) - Relation3DMOT: Exploiting Deep Affinity for 3D Multi-Object Tracking
from View Aggregation [8.854112907350624]
3Dマルチオブジェクトトラッキングは、自律ナビゲーションにおいて重要な役割を果たす。
多くのアプローチでは、トラッキングのための2次元RGBシーケンス内のオブジェクトを検出するが、これは3次元空間内のオブジェクトをローカライズする際の信頼性の欠如である。
本稿では,隣接フレーム内の各オブジェクト間の相関をよりよく活用するために,RelationConvという新しい畳み込み演算を提案する。
論文 参考訳(メタデータ) (2020-11-25T16:14:40Z) - F-Siamese Tracker: A Frustum-based Double Siamese Network for 3D Single
Object Tracking [12.644452175343059]
3Dオブジェクト追跡の主な課題は、適切な3D候補を生成するための検索スペースを減らす方法である。
3Dプロポーザルに頼る代わりに、2D領域プロポーザルを生成し、それを3Dビューイングフラストラムに出力する。
我々は3次元フラストラム上でオンラインの精度検証を行い、洗練された点雲探索空間を生成する。
論文 参考訳(メタデータ) (2020-10-22T08:01:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。