論文の概要: TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking

• arxiv url: http://arxiv.org/abs/2605.12587v1
• Date: Tue, 12 May 2026 17:59:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.596575
• Title: TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking
• Title（参考訳）: TrackCraft3R:Dense 3Dトラッキング用ビデオ拡散トランスフォーマー
• Authors: Jisu Nam, Jahyeok Koo, Soowon Son, Jaewoo Jung, Honggyu An, Junhwa Hur, Seungryong Kim,
• Abstract要約: 我々は、ビデオDiTをフィードフォワード高密度3Dトラッカーとして再利用する最初の方法であるTrackCraft3Rを提案する。 TrackCraft3Rは、スパースと高密度な3Dトラッキングベンチマークで最先端のパフォーマンスを達成しつつ、1.3倍高速で4.6倍のピークメモリを使用する。
• 参考スコア（独自算出の注目度）: 39.87378850460291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense 3D tracking from monocular video is fundamental to dynamic scene understanding. While recent 3D foundation models provide reliable per-frame geometry, recovering object motion in this geometry remains challenging and benefits from strong motion priors learned from real-world videos. Existing 3D trackers either follow iterative paradigms trained from scratch on synthetic data or fine-tune 3D reconstruction models learned from static multi-view images, both lacking real-world motion priors. Pre-trained video diffusion transformers (video DiTs) offer rich spatio-temporal priors from internet-scale videos, making them a promising foundation for 3D tracking. However, their frame-anchored formulation, which generates each frame's content, is fundamentally mismatched with reference-anchored dense 3D tracking, which must follow the same physical points from a reference frame across time. We present TrackCraft3R, the first method to repurpose a video DiT as a feed-forward dense 3D tracker. Given a monocular video and its frame-anchored reconstruction pointmap, TrackCraft3R predicts a reference-anchored tracking pointmap that follows every pixel of the first frame across time in a single forward pass, along with its visibility. We achieve this through two designs: (i) a dual-latent representation that uses per-frame geometry latents and reference-anchored track latents as dense queries, and (ii) temporal RoPE alignment, which specifies the target timestamp of each track latent. Together, these designs convert the per-frame generative paradigm of video DiTs into a reference-anchored tracking formulation with LoRA fine-tuning. TrackCraft3R achieves state-of-the-art performance on standard sparse and dense 3D tracking benchmarks, while running 1.3x faster and using 4.6x less peak memory than the strongest prior method. We further demonstrate robustness to large motions and long videos.
• Abstract（参考訳）: モノクロ映像からのDense 3Dトラッキングは動的シーン理解の基礎となる。 最近の3Dファウンデーションモデルは、フレーム単位の信頼性の高い形状を提供するが、この幾何学における物体の動きの回復は依然として困難であり、現実世界のビデオから学んだ強い動きの利点がある。 既存の3Dトラッカーは、合成データに基づいてスクラッチからトレーニングされた反復的なパラダイムに従うか、静的なマルチビュー画像から学んだ微調整の3D再構成モデルに従う。 事前訓練されたビデオ拡散トランスフォーマー(ビデオDiTs)は、インターネット規模のビデオから豊富な時空間的事前情報を提供し、3Dトラッキングのための有望な基盤となっている。 しかし、それぞれのフレームの内容を生成するフレームアンカレッドの定式化は、基準アンカレッドの高密度な3Dトラッキングと基本的には一致せず、時間を通して参照フレームから同じ物理点に従う必要がある。 我々は、ビデオDiTをフィードフォワード高密度3Dトラッカーとして再利用する最初の方法であるTrackCraft3Rを提案する。 TrackCraft3Rは、モノクロビデオとそのフレームアンカレートされた再構成ポイントマップを与えられた後、参照アンカレートされたトラッキングポイントマップを予測します。 これを2つの設計で実現します。 (i)フレーム単位の幾何ラテントと参照アンコールトラックラテントを高密度クエリとして使用する双対ラテント表現 (ii)各トラックラテントの目標タイムスタンプを指定する時間的RoPEアライメント。 これらの設計は、ビデオDiTのフレーム単位の生成パラダイムを、LoRAファインチューニングによる参照アンコールトラッキングの定式化に変換する。 TrackCraft3Rは、標準的なスパースと高密度な3Dトラッキングベンチマークで最先端のパフォーマンスを達成しつつ、1.3倍高速で4.6倍のピークメモリを使用する。 我々はさらに、大きな動きや長いビデオに対して堅牢性を示す。

関連論文リスト

• Sparse3DTrack: Monocular 3D Object Tracking Using Sparse Supervision [16.586885757497203]
  モノクロ3Dオブジェクトトラッキングは、ビデオフレーム全体で時間的に一貫した3Dオブジェクトのポーズを推定することを目的としている。 既存の最先端のアプローチは、完全に監視されており、長いビデオシーケンスよりも密集した3Dアノテーションに依存している。 モノクロ3次元物体追跡のための最初の教師付きフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-18T21:36:41Z)
• SpatialTrackerV2: 3D Point Tracking Made Easy [73.0350898700048]
  SpaceTrackerV2はモノクロビデオのフィードフォワード3Dポイントトラッキング手法である。 これは、世界空間の3Dモーションをシーン幾何学、カメラエゴモーション、ピクセルワイドオブジェクトモーションに分解する。 このような異種データから幾何学と運動を共同で学習することで、SpatialTrackerV2は既存の3Dトラッキング方法よりも30%優れています。
  論文  参考訳（メタデータ） (2025-07-16T17:59:03Z)
• TAPIP3D: Tracking Any Point in Persistent 3D Geometry [25.357437591411347]
  本稿では,モノクロおよびRGB-Dビデオにおける長期3次元点追跡の新しい手法であるTAPIP3Dを紹介する。 TAPIP3Dは、ビデオをカメラ安定化機能クラウドとして表現し、深度とカメラモーション情報を活用する。 我々の3D中心の定式化は既存の3D点追跡法よりも性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-04-20T19:09:43Z)
• St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
  St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。 静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。 統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
  論文  参考訳（メタデータ） (2025-04-17T17:55:58Z)
• TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
  我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。 このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
  論文  参考訳（メタデータ） (2024-07-08T13:28:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。