論文の概要: SpatialTrackerV2: 3D Point Tracking Made Easy
- arxiv url: http://arxiv.org/abs/2507.12462v2
- Date: Sat, 19 Jul 2025 02:07:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 12:28:43.156405
- Title: SpatialTrackerV2: 3D Point Tracking Made Easy
- Title（参考訳）: SpaceTrackerV2:3Dポイント追跡を簡単に
- Authors: Yuxi Xiao, Jianyuan Wang, Nan Xue, Nikita Karaev, Yuri Makarov, Bingyi Kang, Xing Zhu, Hujun Bao, Yujun Shen, Xiaowei Zhou,
- Abstract要約: SpaceTrackerV2はモノクロビデオのフィードフォワード3Dポイントトラッキング手法である。
これは、世界空間の3Dモーションをシーン幾何学、カメラエゴモーション、ピクセルワイドオブジェクトモーションに分解する。
このような異種データから幾何学と運動を共同で学習することで、SpatialTrackerV2は既存の3Dトラッキング方法よりも30%優れています。
- 参考スコア（独自算出の注目度）: 73.0350898700048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present SpatialTrackerV2, a feed-forward 3D point tracking method for monocular videos. Going beyond modular pipelines built on off-the-shelf components for 3D tracking, our approach unifies the intrinsic connections between point tracking, monocular depth, and camera pose estimation into a high-performing and feedforward 3D point tracker. It decomposes world-space 3D motion into scene geometry, camera ego-motion, and pixel-wise object motion, with a fully differentiable and end-to-end architecture, allowing scalable training across a wide range of datasets, including synthetic sequences, posed RGB-D videos, and unlabeled in-the-wild footage. By learning geometry and motion jointly from such heterogeneous data, SpatialTrackerV2 outperforms existing 3D tracking methods by 30%, and matches the accuracy of leading dynamic 3D reconstruction approaches while running 50$\times$ faster.
- Abstract（参考訳）: 本研究では,モノクロビデオのフィードフォワード3Dポイントトラッキング手法であるSpatialTrackerV2を提案する。
3Dトラッキングのためのオフザシェルフコンポーネント上に構築されたモジュラーパイプラインを超えて、我々のアプローチは、ポイントトラッキング、単眼深度、カメラポーズ推定の本質的な接続をハイパフォーマンスでフィードフォワードな3Dポイントトラッカーに統一する。
これは、世界空間の3Dモーションをシーン幾何学、カメラのエゴモーション、ピクセル単位のオブジェクトモーションに分解し、完全に差別化可能でエンドツーエンドのアーキテクチャで、合成シーケンス、RGB-Dビデオ、未ラベルの撮影など、幅広いデータセットにわたるスケーラブルなトレーニングを可能にする。
このような異種データから幾何学と運動を共同で学習することにより、SpatialTrackerV2は既存の3D追跡手法を30%上回り、50$\times$高速に動作しながら、先進的な3D再構成手法の精度と一致する。
関連論文リスト
- TAPIP3D: Tracking Any Point in Persistent 3D Geometry [25.357437591411347]
本稿では,モノクロおよびRGB-Dビデオにおける長期3次元点追跡の新しい手法であるTAPIP3Dを紹介する。
TAPIP3Dは、ビデオをカメラ安定化機能クラウドとして表現し、深度とカメラモーション情報を活用する。
我々の3D中心の定式化は既存の3D点追跡法よりも性能を著しく向上させる。
論文 参考訳（メタデータ） (2025-04-20T19:09:43Z) - DynOMo: Online Point Tracking by Dynamic Online Monocular Gaussian Reconstruction [65.46359561104867]
モノクラーカメラ入力からのオンライン2Dおよび3Dポイントトラッキングの課題を対象としている。
我々は3Dガウススプラッティングを利用して動的シーンをオンラインに再構築する。
我々は,オンラインのポイントトラッキングとリコンストラクションを推進し,様々な現実のシナリオに適用可能にすることを目的としている。
論文 参考訳（メタデータ） (2024-09-03T17:58:03Z) - TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。
このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
論文 参考訳（メタデータ） (2024-07-08T13:28:47Z) - SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。
この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。
3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
論文 参考訳（メタデータ） (2024-04-05T17:59:25Z) - Tracking by 3D Model Estimation of Unknown Objects in Videos [122.56499878291916]
この表現は限定的であり、代わりに明示的なオブジェクト表現を用いて2次元追跡をガイドし改善することを提案する。
我々の表現は、全てのビデオフレームのオブジェクト上の全ての3Dポイント間の複雑な長期密度対応問題に取り組む。
提案手法は, 最適3次元形状, テクスチャ, 6DoFのポーズを推定するために, 新たな損失関数を最小化する。
論文 参考訳（メタデータ） (2023-04-13T11:32:36Z) - Time3D: End-to-End Joint Monocular 3D Object Detection and Tracking for
Autonomous Driving [3.8073142980733]
本稿では,モノクローナルビデオのみからエンドツーエンドに3D検出と3D追跡を共同で行うことを提案する。
Time3Dは21.4%のAMOTA、13.6%のAMOTPをnuScenesの3D追跡ベンチマークで達成し、全競合を抜いた。
論文 参考訳（メタデータ） (2022-05-30T06:41:10Z) - 3D Visual Tracking Framework with Deep Learning for Asteroid Exploration [22.808962211830675]
本稿では,3次元追跡のための高精度かつリアルタイムな手法について検討する。
両眼ビデオシーケンス、深度マップ、様々な小惑星の点雲を含む、新しい大規模な3D小惑星追跡データセットが提示されている。
深層学習に基づく3DトラッキングフレームワークTrack3Dを提案する。このフレームワークは,2次元単分子トラッカーと,新しい軽量アモーダル軸整合バウンディングボックスネットワークであるA3BoxNetを備える。
論文 参考訳（メタデータ） (2021-11-21T04:14:45Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。