論文の概要: Know Your Surroundings: Panoramic Multi-Object Tracking by Multimodality
Collaboration
- arxiv url: http://arxiv.org/abs/2105.14683v1
- Date: Mon, 31 May 2021 03:16:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 17:11:50.445407
- Title: Know Your Surroundings: Panoramic Multi-Object Tracking by Multimodality
Collaboration
- Title(参考訳): 周囲を知る - マルチモダリティコラボレーションによるパノラマ的マルチオブジェクト追跡
- Authors: Yuhang He, Wentao Yu, Jie Han, Xing Wei, Xiaopeng Hong, Yihong Gong
- Abstract要約: MMPAT(MultiModality PAnoramic Multi-object Tracking framework)を提案する。
2次元パノラマ画像と3次元点雲を入力とし、マルチモーダルデータを用いて目標軌道を推定する。
提案手法は,検出タスクと追跡タスクの両方においてMMPATが最高性能を達成するJRDBデータセット上で評価する。
- 参考スコア(独自算出の注目度): 56.01625477187448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we focus on the multi-object tracking (MOT) problem of
automatic driving and robot navigation. Most existing MOT methods track
multiple objects using a singular RGB camera, which are prone to camera
field-of-view and suffer tracking failures in complex scenarios due to
background clutters and poor light conditions. To meet these challenges, we
propose a MultiModality PAnoramic multi-object Tracking framework (MMPAT),
which takes both 2D panorama images and 3D point clouds as input and then
infers target trajectories using the multimodality data. The proposed method
contains four major modules, a panorama image detection module, a multimodality
data fusion module, a data association module and a trajectory inference model.
We evaluate the proposed method on the JRDB dataset, where the MMPAT achieves
the top performance in both the detection and tracking tasks and significantly
outperforms state-of-the-art methods by a large margin (15.7 and 8.5
improvement in terms of AP and MOTA, respectively).
- Abstract(参考訳): 本稿では,自動走行とロボットナビゲーションの多目的追跡(MOT)問題に焦点をあてる。
既存のMOT手法の多くは、カメラの視野に傾向があり、背景の乱れや光条件の悪さによる複雑なシナリオにおけるトラッキング障害に悩まされる、特異なRGBカメラを用いて複数のオブジェクトを追跡する。
そこで本研究では,2次元パノラマ画像と3次元点雲の両方を入力として,マルチモダリティデータを用いて対象軌跡を推定するマルチモダリティパノラマ・マルチオブジェクト追跡フレームワーク(mmpat)を提案する。
提案手法は,パノラマ画像検出モジュール,マルチモダリティデータ融合モジュール,データアソシエーションモジュール,軌道推論モデルという4つの主要モジュールを含む。
提案手法をJRDBデータセット上で評価し,検出タスクと追跡タスクの両方においてMMPATが最高性能を達成し,最先端の手法を大きなマージン(APとMOTAでそれぞれ15.7と8.5の改善)で大幅に上回った。
関連論文リスト
- PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest [65.48057241587398]
PoIFusionは興味のある時点でRGB画像とLiDAR点雲の情報を融合する(略してPoI)
本手法は、ビュー変換による情報損失を防止し、計算集約的なグローバルな注意をなくす。
注目すべきは、私たちのPoIFusionは74.9%のNDSと73.4%のmAPを獲得し、マルチモーダルな3Dオブジェクト検出ベンチマークで最先端の記録を樹立したことです。
論文 参考訳(メタデータ) (2024-03-14T09:28:12Z) - MMRDN: Consistent Representation for Multi-View Manipulation
Relationship Detection in Object-Stacked Scenes [62.20046129613934]
我々は,MMRDN(Multi-view MRD Network)と呼ばれる新しい多視点融合フレームワークを提案する。
異なるビューからの2Dデータを共通の隠れ空間に投影し、埋め込みをVon-Mises-Fisher分布に適合させる。
これら2つのオブジェクトの相対位置を符号化した各オブジェクト対の点雲から、K$最大垂直近傍点(KMVN)の集合を選択する。
論文 参考訳(メタデータ) (2023-04-25T05:55:29Z) - You Only Need Two Detectors to Achieve Multi-Modal 3D Multi-Object
Tracking [8.34219107351442]
本稿では,マルチモーダル融合に基づく新しいマルチオブジェクト追跡フレームワークを提案する。
このフレームワークは、古典的TBDパラダイムにおける複雑なデータアソシエーションプロセスを回避する。
提案手法は2つのモーダル検出器のみを用いてロバストな追跡を実現する。
論文 参考訳(メタデータ) (2023-04-18T02:45:18Z) - PTA-Det: Point Transformer Associating Point cloud and Image for 3D
Object Detection [3.691671505269693]
多くのマルチモーダル検出法は、LiDARのみの手法よりもさらに悪い性能を発揮する。
Pseudo Point Cloud Generation Networkは、画像情報を疑似ポイントで変換するために提案されている。
画像からのLiDAR点と擬似点の特徴は、統一された点ベース表現の下で深く融合することができる。
論文 参考訳(メタデータ) (2023-01-18T04:35:49Z) - CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object
Tracking with Camera-LiDAR Fusion [34.42289908350286]
3D Multi-object Track (MOT) は、連続的な動的検出時の一貫性を保証する。
LiDAR法で物体の不規則な動きを正確に追跡することは困難である。
複合外観運動最適化(CAMO-MOT)に基づく新しいカメラ-LiDAR融合3DMOTフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-06T14:41:38Z) - A Simple Baseline for Multi-Camera 3D Object Detection [94.63944826540491]
周囲のカメラで3Dオブジェクトを検出することは、自動運転にとって有望な方向だ。
マルチカメラオブジェクト検出のための簡易ベースラインであるSimMODを提案する。
我々は, nuScenes の3次元オブジェクト検出ベンチマークにおいて, SimMOD の有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2022-08-22T03:38:01Z) - Probabilistic 3D Multi-Modal, Multi-Object Tracking for Autonomous
Driving [22.693895321632507]
異なる訓練可能なモジュールからなる確率的、マルチモーダル、マルチオブジェクトトラッキングシステムを提案する。
本手法はNuScenes Trackingデータセットの現在の状態を上回っていることを示した。
論文 参考訳(メタデータ) (2020-12-26T15:00:54Z) - Dense Scene Multiple Object Tracking with Box-Plane Matching [73.54369833671772]
マルチオブジェクトトラッキング(MOT)はコンピュータビジョンにおいて重要なタスクである。
密集したシーンにおけるMOT性能を改善するために,Box-Plane Matching (BPM)法を提案する。
3つのモジュールの有効性により、ACM MM Grand Challenge HiEve 2020において、私たちのチームはトラック1のリーダーボードで1位を獲得しました。
論文 参考訳(メタデータ) (2020-07-30T16:39:22Z) - Segment as Points for Efficient Online Multi-Object Tracking and
Segmentation [66.03023110058464]
本稿では,コンパクトな画像表現を非秩序な2次元点クラウド表現に変換することで,セグメントに基づくインスタンス埋め込みの学習に有効な方法を提案する。
本手法は,画像ではなく,ランダムに選択された点から識別インスタンスの埋め込みを学習する,新たなトラッキング・バイ・ポイントのパラダイムを生成する。
PointTrackという名前のオンラインMOTSフレームワークは、最先端のすべてのメソッドを大きなマージンで上回っている。
論文 参考訳(メタデータ) (2020-07-03T08:29:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。