論文の概要: End-to-End 3D Multi-Object Tracking and Trajectory Forecasting
- arxiv url: http://arxiv.org/abs/2008.11598v1
- Date: Tue, 25 Aug 2020 16:54:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 03:33:44.907502
- Title: End-to-End 3D Multi-Object Tracking and Trajectory Forecasting
- Title(参考訳): エンドツーエンド3次元多物体追跡と軌道予測
- Authors: Xinshuo Weng, Ye Yuan, Kris Kitani
- Abstract要約: 3次元MOTと軌道予測の統一解を提案する。
グラフニューラルネットを導入して特徴相互作用技術を採用する。
また,予測トラジェクトリの品質と多様性を向上させるために,多様性サンプリング機能を利用する。
- 参考スコア(独自算出の注目度): 34.68114553744956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D multi-object tracking (MOT) and trajectory forecasting are two critical
components in modern 3D perception systems. We hypothesize that it is
beneficial to unify both tasks under one framework to learn a shared feature
representation of agent interaction. To evaluate this hypothesis, we propose a
unified solution for 3D MOT and trajectory forecasting which also incorporates
two additional novel computational units. First, we employ a feature
interaction technique by introducing Graph Neural Networks (GNNs) to capture
the way in which multiple agents interact with one another. The GNN is able to
model complex hierarchical interactions, improve the discriminative feature
learning for MOT association, and provide socially-aware context for trajectory
forecasting. Second, we use a diversity sampling function to improve the
quality and diversity of our forecasted trajectories. The learned sampling
function is trained to efficiently extract a variety of outcomes from a
generative trajectory distribution and helps avoid the problem of generating
many duplicate trajectory samples. We show that our method achieves
state-of-the-art performance on the KITTI dataset. Our project website is at
http://www.xinshuoweng.com/projects/GNNTrkForecast.
- Abstract(参考訳): 3次元多物体追跡(MOT)と軌道予測は、現代の3次元知覚システムにおいて2つの重要な要素である。
エージェントインタラクションの共有特徴表現を学習するために,両タスクをひとつのフレームワークで統一することが有用である,という仮説を立てる。
この仮説を評価するために,新たに2つの計算ユニットを組み込んだ3次元MOTと軌道予測の統一解を提案する。
まず、複数のエージェントが互いに相互作用する方法を捉えるために、グラフニューラルネットワーク(gnns)を導入することで、機能インタラクション技術を採用する。
GNNは複雑な階層的相互作用をモデル化し、MOT関連のための識別的特徴学習を改善し、軌道予測のための社会的に認識されたコンテキストを提供する。
第2に、予測された軌道の品質と多様性を改善するために、ダイバーシティサンプリング関数を使用する。
学習されたサンプリング関数は、生成軌跡分布から様々な結果を効率的に抽出し、多くの重複軌跡サンプルを生成する問題を回避するために訓練される。
提案手法は,KITTIデータセット上での最先端性能を実現する。
プロジェクトのWebサイトはhttp://www.xinshuoweng.com/projects/GNNTrkForecastにあります。
関連論文リスト
- RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception [64.80760846124858]
本稿では,様々な知覚タスクの表現を調和させる新しい統一表現RepVFを提案する。
RepVFは、ベクトル場を通じてシーン内の異なるターゲットの構造を特徴付け、シングルヘッドでマルチタスクの学習モデルを可能にする。
RepVF 上に構築された RFTR は,タスク間の固有性を利用したネットワークである。
論文 参考訳(メタデータ) (2024-07-15T16:25:07Z) - StreamMOTP: Streaming and Unified Framework for Joint 3D Multi-Object Tracking and Trajectory Prediction [22.29257945966914]
我々は3次元多目的追跡・軌道予測(StreamMOTP)のためのストリーミング統合フレームワークを提案する。
ストリーミング方式でモデルを構築し、メモリバンクを利用して、追跡対象の長期潜伏機能をより効果的に保存し、活用する。
また,予測トラジェクタの品質と一貫性を2ストリーム予測器で改善する。
論文 参考訳(メタデータ) (2024-06-28T11:35:35Z) - Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。
具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。
バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
論文 参考訳(メタデータ) (2024-05-27T22:15:23Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-22T11:40:49Z) - Simultaneous Multiple Object Detection and Pose Estimation using 3D
Model Infusion with Monocular Vision [21.710141497071373]
複数物体の検出とポーズ推定はコンピュータビジョンの重要なタスクである。
単眼視と3Dモデルを用いた同時ニューラルモデリングを提案する。
我々の同時多重物体検出・ポース推定ネットワーク(SMOPE-Net)は、エンドツーエンドのトレーニング可能なマルチタスクネットワークである。
論文 参考訳(メタデータ) (2022-11-21T05:18:56Z) - 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D
Point Clouds [95.54285993019843]
本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。
本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
論文 参考訳(メタデータ) (2022-11-01T20:59:38Z) - Learnable Online Graph Representations for 3D Multi-Object Tracking [156.58876381318402]
3D MOT問題に対する統一型学習型アプローチを提案します。
我々は、完全にトレーニング可能なデータアソシエーションにNeural Message Passing Networkを使用します。
AMOTAの65.6%の最先端性能と58%のIDスウィッチを達成して、公開可能なnuScenesデータセットに対する提案手法のメリットを示す。
論文 参考訳(メタデータ) (2021-04-23T17:59:28Z) - Pareto-Optimal Bit Allocation for Collaborative Intelligence [39.11380888887304]
コラボレーションインテリジェンス(CI)は、人工知能(AI)ベースのサービスをモバイル/エッジデバイスにデプロイするための、有望なフレームワークとして登場した。
本稿では,マルチストリームCIシステムにおける特徴符号化のためのビット割り当てについて検討する。
論文 参考訳(メタデータ) (2020-09-25T20:48:33Z) - Improving Point Cloud Semantic Segmentation by Learning 3D Object
Detection [102.62963605429508]
ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。
現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。
Aware 3D Semantic Detection (DASS) フレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-22T14:17:40Z) - Graph Neural Networks for 3D Multi-Object Tracking [28.121708602059048]
3次元多物体追跡(MOT)は自律システムにとって不可欠である。
最近の作業では、しばしばトラッキング・バイ・検出パイプラインを使用します。
本稿では,グラフニューラルネットワークを導入した新しい特徴相互作用機構を提案する。
論文 参考訳(メタデータ) (2020-08-20T17:55:41Z) - PTP: Parallelized Tracking and Prediction with Graph Neural Networks and
Diversity Sampling [34.68114553744956]
多物体追跡(MOT)と軌跡予測は、現代の3次元知覚システムにおいて2つの重要な要素である。
エージェントインタラクションの共有特徴表現を学習するための並列化フレームワークを提案する。
社会的に認識された特徴学習と多様性サンプリングを用いた手法は,3次元MOTにおける新しい最先端性能と軌道予測を実現する。
論文 参考訳(メタデータ) (2020-03-17T17:53:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。