論文の概要: TrackingWorld: World-centric Monocular 3D Tracking of Almost All Pixels
- arxiv url: http://arxiv.org/abs/2512.08358v1
- Date: Tue, 09 Dec 2025 08:35:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-10 22:28:07.878952
- Title: TrackingWorld: World-centric Monocular 3D Tracking of Almost All Pixels
- Title(参考訳): TrackingWorld:ほぼすべてのPixelの、世界中心のモノクロ3D追跡
- Authors: Jiahao Lu, Weitao Xiong, Jiacheng Deng, Peng Li, Tianyu Huang, Zhiyang Dou, Cheng Lin, Sai-Kit Yeung, Yuan Liu,
- Abstract要約: モノクロ3Dトラッキングは、単一のモノクロビデオから3D空間内のピクセルの長期的な動きをキャプチャすることを目的としている。
本研究では,世界中心の3D座標系において,ほぼすべての画素の高密度3D追跡のための新しいパイプラインであるTrackingWorldを提案する。
- 参考スコア(独自算出の注目度): 49.456225518469516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Monocular 3D tracking aims to capture the long-term motion of pixels in 3D space from a single monocular video and has witnessed rapid progress in recent years. However, we argue that the existing monocular 3D tracking methods still fall short in separating the camera motion from foreground dynamic motion and cannot densely track newly emerging dynamic subjects in the videos. To address these two limitations, we propose TrackingWorld, a novel pipeline for dense 3D tracking of almost all pixels within a world-centric 3D coordinate system. First, we introduce a tracking upsampler that efficiently lifts the arbitrary sparse 2D tracks into dense 2D tracks. Then, to generalize the current tracking methods to newly emerging objects, we apply the upsampler to all frames and reduce the redundancy of 2D tracks by eliminating the tracks in overlapped regions. Finally, we present an efficient optimization-based framework to back-project dense 2D tracks into world-centric 3D trajectories by estimating the camera poses and the 3D coordinates of these 2D tracks. Extensive evaluations on both synthetic and real-world datasets demonstrate that our system achieves accurate and dense 3D tracking in a world-centric coordinate frame.
- Abstract(参考訳): モノクロ3Dトラッキングは、単一のモノクロビデオから3D空間内のピクセルの長期的な動きを捉えることを目的としており、近年急速に進歩している。
しかし,既存のモノクル3Dトラッキング手法は,カメラの動きを前景のダイナミックモーションから切り離すにはまだ不十分であり,ビデオ中の新たなダイナミックな被写体を密に追跡することはできない,と論じる。
これら2つの制約に対処するために,世界中心の3D座標系内のほぼすべてのピクセルを高密度で3D追跡するための新しいパイプラインであるTrackingWorldを提案する。
まず、任意のスパース2Dトラックを高密度2Dトラックに効率的に持ち上げるトラッキングアップサンプラーを導入する。
そこで本研究では,現在の追跡手法を新たなオブジェクトに一般化するために,アップサンプラーを全フレームに適用し,重なり合う領域のトラックを除去して2次元トラックの冗長性を低減した。
最後に、これらの2Dトラックのカメラポーズと3D座標を推定することにより、高密度な2Dトラックを世界中心の3D軌道にバックプロジェクターする効率的な最適化ベースのフレームワークを提案する。
合成および実世界の両方のデータセットに対する広範囲な評価は、我々のシステムが世界中心の座標フレームにおいて正確で高密度な3Dトラッキングを実現することを示す。
関連論文リスト
- SpatialTrackerV2: 3D Point Tracking Made Easy [73.0350898700048]
SpaceTrackerV2はモノクロビデオのフィードフォワード3Dポイントトラッキング手法である。
これは、世界空間の3Dモーションをシーン幾何学、カメラエゴモーション、ピクセルワイドオブジェクトモーションに分解する。
このような異種データから幾何学と運動を共同で学習することで、SpatialTrackerV2は既存の3Dトラッキング方法よりも30%優れています。
論文 参考訳(メタデータ) (2025-07-16T17:59:03Z) - TAPIP3D: Tracking Any Point in Persistent 3D Geometry [25.357437591411347]
本稿では,モノクロおよびRGB-Dビデオにおける長期3次元点追跡の新しい手法であるTAPIP3Dを紹介する。
TAPIP3Dは、ビデオをカメラ安定化機能クラウドとして表現し、深度とカメラモーション情報を活用する。
我々の3D中心の定式化は既存の3D点追跡法よりも性能を著しく向上させる。
論文 参考訳(メタデータ) (2025-04-20T19:09:43Z) - DELTA: Dense Efficient Long-range 3D Tracking for any video [82.26753323263009]
DELTAは3次元空間内のすべてのピクセルを効率よく追跡し,ビデオ全体の正確な動き推定を可能にする手法である。
提案手法では,低分解能追跡のためのグローバルアテンション機構と,高分解能予測を実現するためのトランスフォーマーベースアップサンプラーを併用する。
提案手法は,3次元空間における細粒度・長期動作追跡を必要とするアプリケーションに対して,ロバストなソリューションを提供する。
論文 参考訳(メタデータ) (2024-10-31T17:59:01Z) - SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。
この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。
3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
論文 参考訳(メタデータ) (2024-04-05T17:59:25Z) - 3D Visual Tracking Framework with Deep Learning for Asteroid Exploration [22.808962211830675]
本稿では,3次元追跡のための高精度かつリアルタイムな手法について検討する。
両眼ビデオシーケンス、深度マップ、様々な小惑星の点雲を含む、新しい大規模な3D小惑星追跡データセットが提示されている。
深層学習に基づく3DトラッキングフレームワークTrack3Dを提案する。このフレームワークは,2次元単分子トラッカーと,新しい軽量アモーダル軸整合バウンディングボックスネットワークであるA3BoxNetを備える。
論文 参考訳(メタデータ) (2021-11-21T04:14:45Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-12T15:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。