論文の概要: 3D Multi-Object Tracking with Differentiable Pose Estimation
- arxiv url: http://arxiv.org/abs/2206.13785v1
- Date: Tue, 28 Jun 2022 06:46:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-02 13:34:21.322325
- Title: 3D Multi-Object Tracking with Differentiable Pose Estimation
- Title（参考訳）: 可変電位推定による3次元多対象追跡
- Authors: Dominik Schmauser, Zeju Qiu, Norman M\"uller, Matthias Nie{\ss}ner
- Abstract要約: 室内環境におけるRGB-Dシーケンスからの3次元多対象追跡と再構成のための新しい手法を提案する。
我々は、これらの対応を利用してグラフニューラルネットワークに通知し、すべてのオブジェクトの最適かつ時間的に一貫性のある7-DoFポーズトラジェクトリを解決する。
本手法は,既存の最先端手法に比べて,すべてのテストシーケンスに対して蓄積したMOTAスコアを24.8%向上させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel approach for joint 3D multi-object tracking and
reconstruction from RGB-D sequences in indoor environments. To this end, we
detect and reconstruct objects in each frame while predicting dense
correspondences mappings into a normalized object space. We leverage those
correspondences to inform a graph neural network to solve for the optimal,
temporally-consistent 7-DoF pose trajectories of all objects. The novelty of
our method is two-fold: first, we propose a new graph-based approach for
differentiable pose estimation over time to learn optimal pose trajectories;
second, we present a joint formulation of reconstruction and pose estimation
along the time axis for robust and geometrically consistent multi-object
tracking. In order to validate our approach, we introduce a new synthetic
dataset comprising 2381 unique indoor sequences with a total of 60k rendered
RGB-D images for multi-object tracking with moving objects and camera positions
derived from the synthetic 3D-FRONT dataset. We demonstrate that our method
improves the accumulated MOTA score for all test sequences by 24.8% over
existing state-of-the-art methods. In several ablations on synthetic and
real-world sequences, we show that our graph-based, fully end-to-end-learnable
approach yields a significant boost in tracking performance.
- Abstract（参考訳）: 室内環境におけるRGB-Dシーケンスからの3次元多対象追跡と再構成のための新しい手法を提案する。
この目的のために,正規化対象空間への密対応写像を予測しながら,各フレーム内の物体を検出し,再構成する。
これらの対応を利用して、グラフニューラルネットワークに、すべてのオブジェクトの最適で時間的に一貫性のある7自由度ポーズの軌跡を知らせる。
提案手法の新規性は2つある: まず、最適ポーズ軌跡を学習するために時間とともに微分可能なポーズ推定のための新しいグラフベースのアプローチを提案する; 次に、頑健で幾何的に整合した多対象追跡のための時間軸に沿って、再構成とポーズ推定の合同的な定式化を提案する。
提案手法を検証するために,多目的追跡のための6kレンダリングされたrgb-d画像を含む,2381のユニークな屋内シーケンスからなる合成データセットと,合成3d-frontデータセットから派生したカメラ位置を提案する。
本手法は,すべてのテストシーケンスの累積motaスコアを,既存手法と比較して24.8%向上させることを実証する。
合成および実世界の配列に関するいくつかの議論において、我々のグラフベースの完全エンドツーエンド学習可能なアプローチは、追跡性能を著しく向上させることを示した。
関連論文リスト
- Towards Scalable Multi-View Reconstruction of Geometry and Materials [27.660389147094715]
本稿では,3次元シーンのカメラポーズ,オブジェクト形状,空間変化の両方向反射分布関数(svBRDF)のジョイントリカバリ手法を提案する。
入力は高解像度のRGBD画像であり、アクティブ照明用の点灯付き携帯型ハンドヘルドキャプチャシステムによってキャプチャされる。
論文 参考訳（メタデータ） (2023-06-06T15:07:39Z) - Tracking by 3D Model Estimation of Unknown Objects in Videos [122.56499878291916]
この表現は限定的であり、代わりに明示的なオブジェクト表現を用いて2次元追跡をガイドし改善することを提案する。
我々の表現は、全てのビデオフレームのオブジェクト上の全ての3Dポイント間の複雑な長期密度対応問題に取り組む。
提案手法は, 最適3次元形状, テクスチャ, 6DoFのポーズを推定するために, 新たな損失関数を最小化する。
論文 参考訳（メタデータ） (2023-04-13T11:32:36Z) - GOOD: General Optimization-based Fusion for 3D Object Detection via
LiDAR-Camera Object Candidates [10.534984939225014]
3次元物体検出は、自律運転における知覚タスクの中核となる基礎となる。
Goodは汎用的な最適化ベースの融合フレームワークで、追加のモデルをトレーニングすることなく、満足度の高い検出を実現できる。
nuScenesとKITTIデータセットの両方の実験を行い、その結果、GOODはPointPillarsと比較してmAPスコアで9.1%上回っていることが示された。
論文 参考訳（メタデータ） (2023-03-17T07:05:04Z) - Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。
各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。
頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-14T02:58:27Z) - 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D
Point Clouds [95.54285993019843]
本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。
本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
論文 参考訳（メタデータ） (2022-11-01T20:59:38Z) - Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [71.59494156155309]
既存のマルチビュー3Dポーズ推定手法は、複数のカメラビューからグループ2Dポーズ検出に対するクロスビュー対応を明確に確立する。
平面スイープステレオに基づくマルチビュー3Dポーズ推定手法を提案し、クロスビュー融合と3Dポーズ再構築を1ショットで共同で解決します。
論文 参考訳（メタデータ） (2021-04-06T03:49:35Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z) - Next-best-view Regression using a 3D Convolutional Neural Network [0.9449650062296823]
本論文では,次のベストビュー問題に対するデータ駆動アプローチを提案する。
提案手法は、次のベストビューのbtxtpositionを抑えるために、以前の再構成で3D畳み込みニューラルネットワークを訓練する。
提案手法を2つの実験グループを用いて検証した。
論文 参考訳（メタデータ） (2021-01-23T01:50:26Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳（メタデータ） (2020-08-31T17:10:48Z) - How to track your dragon: A Multi-Attentional Framework for real-time
RGB-D 6-DOF Object Pose Tracking [35.21561169636035]
本稿では,リアルタイムRGB-D 6Dオブジェクトのポーズトラッキング問題に対処するために,新しい多目的畳み込みアーキテクチャを提案する。
物体の3次元モデルとポーズ空間の両方の特別な幾何学的性質を考察し、トレーニング中のデータ拡張により洗練されたアプローチを用いる。
論文 参考訳（メタデータ） (2020-04-21T23:00:06Z) - Joint Spatial-Temporal Optimization for Stereo 3D Object Tracking [34.40019455462043]
本研究では,空間時間最適化に基づくステレオ3次元物体追跡手法を提案する。
ネットワークから隣接画像上の対応する2Dバウンディングボックスを検出し,初期3Dバウンディングボックスを回帰する。
オブジェクトセントロイドに関連づけられた複雑なオブジェクトキューは、リージョンベースのネットワークを使用して予測される。
論文 参考訳（メタデータ） (2020-04-20T13:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。