論文の概要: Joint 3D Object Detection and Tracking Using Spatio-Temporal
Representation of Camera Image and LiDAR Point Clouds
- arxiv url: http://arxiv.org/abs/2112.07116v2
- Date: Wed, 15 Dec 2021 16:26:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-16 11:30:21.208099
- Title: Joint 3D Object Detection and Tracking Using Spatio-Temporal
Representation of Camera Image and LiDAR Point Clouds
- Title（参考訳）: カメラ画像とLiDAR点雲の時空間表現を用いた3次元物体検出と追跡
- Authors: Junho Koh, Jaekyum Kim, Jinhyuk Yoo, Yecheol Kim, Dongsuk Kum, Jun Won
Choi
- Abstract要約: カメラとLiDARセンサを用いた3次元物体検出・追跡のための新しい関節物体検出・追跡(DT)フレームワークを提案する。
提案手法は3D DetecJoと呼ばれ、検出器とトラッカーが協調してカメラとLiDARデータの時間表現を生成する。
- 参考スコア（独自算出の注目度）: 12.334725127696395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a new joint object detection and tracking (JoDT)
framework for 3D object detection and tracking based on camera and LiDAR
sensors. The proposed method, referred to as 3D DetecTrack, enables the
detector and tracker to cooperate to generate a spatio-temporal representation
of the camera and LiDAR data, with which 3D object detection and tracking are
then performed. The detector constructs the spatio-temporal features via the
weighted temporal aggregation of the spatial features obtained by the camera
and LiDAR fusion. Then, the detector reconfigures the initial detection results
using information from the tracklets maintained up to the previous time step.
Based on the spatio-temporal features generated by the detector, the tracker
associates the detected objects with previously tracked objects using a graph
neural network (GNN). We devise a fully-connected GNN facilitated by a
combination of rule-based edge pruning and attention-based edge gating, which
exploits both spatial and temporal object contexts to improve tracking
performance. The experiments conducted on both KITTI and nuScenes benchmarks
demonstrate that the proposed 3D DetecTrack achieves significant improvements
in both detection and tracking performances over baseline methods and achieves
state-of-the-art performance among existing methods through collaboration
between the detector and tracker.
- Abstract（参考訳）: 本稿では,カメラとLiDARセンサを用いた3次元物体検出・追跡のためのジョイントオブジェクト検出・追跡(JoDT)フレームワークを提案する。
提案手法は3d detectionrackと呼ばれ、検出器とトラッカーが協調してカメラとライダーデータの時空間表現を生成し、3dオブジェクトの検出と追跡を行うことができる。
検出器は、カメラとLiDAR融合によって得られる空間的特徴の重み付け時間的アグリゲーションを介して時空間的特徴を構築する。
そして、前回のタイムステップまで維持されたトラックレットの情報を用いて初期検出結果を再設定する。
検出器によって生成された時空間的特徴に基づいて、トラッカーは検出されたオブジェクトをグラフニューラルネットワーク(GNN)を用いて以前追跡されたオブジェクトと関連付ける。
我々は,規則に基づくエッジプルーニングと注意に基づくエッジゲーティングの組み合わせにより,完全に接続されたgnnを考案する。
KITTIとnuScenesのベンチマークで実施された実験により、提案した3D DetecTrackは、ベースライン法よりも検出および追跡性能に大きな改善を達成し、検出器とトラッカーの協調によって既存の手法間の最先端のパフォーマンスを達成することが示された。
関連論文リスト
- Run-time Monitoring of 3D Object Detection in Automated Driving Systems Using Early Layer Neural Activation Patterns [12.384452095533396]
自動運転システム(ADS)の統合性監視は安全性を確保する上で最重要である。
近年のディープニューラルネットワーク(DNN)を用いた物体検出装置の進歩,検出誤差への感受性は重要な懸念点である。
論文 参考訳（メタデータ） (2024-04-11T12:24:47Z) - SeMoLi: What Moves Together Belongs Together [51.72754014130369]
動作手がかりに基づく半教師付き物体検出に挑戦する。
近年,移動物体の擬似ラベルインスタンスに対して,動きに基づくクラスタリング手法が適用可能であることが示唆された。
我々は、このアプローチを再考し、オブジェクト検出とモーションインスパイアされた擬似ラベルの両方が、データ駆動方式で取り組めることを示唆する。
論文 参考訳（メタデータ） (2024-02-29T18:54:53Z) - 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D
Point Clouds [95.54285993019843]
本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。
本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
論文 参考訳（メタデータ） (2022-11-01T20:59:38Z) - D-Align: Dual Query Co-attention Network for 3D Object Detection Based
on Multi-frame Point Cloud Sequence [8.21339007493213]
従来の3Dオブジェクト検出器は一定期間に取得した一連の点を用いて物体を検出する。
近年の研究では、点雲列を利用して物体検出の性能をさらに向上できることが示されている。
D-Alignは,一連の点集合から得られる特徴を調整・集約することで,鳥眼視(BEV)の特徴を効果的に生み出すことができる。
論文 参考訳（メタデータ） (2022-09-30T20:41:25Z) - DirectTracker: 3D Multi-Object Tracking Using Direct Image Alignment and
Photometric Bundle Adjustment [41.27664827586102]
直接法は視覚計測とSLAMの応用において優れた性能を示した。
本研究では,3次元物体検出のための短期追跡とスライディングウインドウ光度束調整のための直像アライメントを効果的に組み合わせたフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-29T17:40:22Z) - Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object
Detection and Tracking [53.64390261936975]
我々はオブジェクトの検出と追跡を共同で解決するスパース時間R-CNNであるMinkowski Trackerを提案する。
領域ベースCNN(R-CNN)に着想を得て,物体検出器R-CNNの第2段階として動きを追跡することを提案する。
大規模実験では,本手法の総合的な性能向上は4つの要因によることがわかった。
論文 参考訳（メタデータ） (2022-08-22T04:47:40Z) - Time3D: End-to-End Joint Monocular 3D Object Detection and Tracking for
Autonomous Driving [3.8073142980733]
本稿では,モノクローナルビデオのみからエンドツーエンドに3D検出と3D追跡を共同で行うことを提案する。
Time3Dは21.4%のAMOTA、13.6%のAMOTPをnuScenesの3D追跡ベンチマークで達成し、全競合を抜いた。
論文 参考訳（メタデータ） (2022-05-30T06:41:10Z) - A Lightweight and Detector-free 3D Single Object Tracker on Point Clouds [50.54083964183614]
生のLiDARスキャンにおける物体の点雲は、通常スパースで不完全であるため、正確な目標固有検出を行うのは簡単ではない。
DMTは、複雑な3D検出器の使用を完全に除去する3Dトラッキングネットワークである。
論文 参考訳（メタデータ） (2022-03-08T17:49:07Z) - 3D-FCT: Simultaneous 3D Object Detection and Tracking Using Feature
Correlation [0.0]
3D-FCTは、時間情報を利用して3Dオブジェクトの検出と追跡の関連タスクを同時に実行するシームズネットワークアーキテクチャである。
提案手法は,最先端手法よりも5.57%mAPの改善が期待できるKITTI追跡データセットを用いて評価した。
論文 参考訳（メタデータ） (2021-10-06T06:36:29Z) - Track to Detect and Segment: An Online Multi-Object Tracker [81.15608245513208]
TraDeSは、エンドツーエンドの検出を支援するために追跡の手がかりを利用するオンライン共同検出および追跡モデルです。
TraDeSは、以前のオブジェクトの機能を伝播するために使用されるコストボリュームでオブジェクト追跡オフセットを推測します。
論文 参考訳（メタデータ） (2021-03-16T02:34:06Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。