論文の概要: TAPIP3D: Tracking Any Point in Persistent 3D Geometry

• arxiv url: http://arxiv.org/abs/2504.14717v2
• Date: Mon, 26 May 2025 22:17:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.105743
• Title: TAPIP3D: Tracking Any Point in Persistent 3D Geometry
• Title（参考訳）: TAPIP3D:永続的な3D幾何学におけるあらゆる点の追跡
• Authors: Bowei Zhang, Lei Ke, Adam W. Harley, Katerina Fragkiadaki,
• Abstract要約: 本稿では,モノクロおよびRGB-Dビデオにおける長期3次元点追跡の新しい手法であるTAPIP3Dを紹介する。 TAPIP3Dは、ビデオをカメラ安定化機能クラウドとして表現し、深度とカメラモーション情報を活用する。 我々の3D中心の定式化は既存の3D点追跡法よりも性能を著しく向上させる。
• 参考スコア（独自算出の注目度）: 25.357437591411347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce TAPIP3D, a novel approach for long-term 3D point tracking in monocular RGB and RGB-D videos. TAPIP3D represents videos as camera-stabilized spatio-temporal feature clouds, leveraging depth and camera motion information to lift 2D video features into a 3D world space where camera movement is effectively canceled out. Within this stabilized 3D representation, TAPIP3D iteratively refines multi-frame motion estimates, enabling robust point tracking over long time horizons. To handle the irregular structure of 3D point distributions, we propose a 3D Neighborhood-to-Neighborhood (N2N) attention mechanism - a 3D-aware contextualization strategy that builds informative, spatially coherent feature neighborhoods to support precise trajectory estimation. Our 3D-centric formulation significantly improves performance over existing 3D point tracking methods and even surpasses state-of-the-art 2D pixel trackers in accuracy when reliable depth is available. The model supports inference in both camera-centric (unstabilized) and world-centric (stabilized) coordinates, with experiments showing that compensating for camera motion leads to substantial gains in tracking robustness. By replacing the conventional 2D square correlation windows used in prior 2D and 3D trackers with a spatially grounded 3D attention mechanism, TAPIP3D achieves strong and consistent results across multiple 3D point tracking benchmarks. Project Page: https://tapip3d.github.io
• Abstract（参考訳）: 本稿では,モノクロRGBおよびRGB-Dビデオにおける長期3次元点追跡の新しい手法であるTAPIP3Dを紹介する。 TAPIP3Dは、ビデオをカメラ安定化時空間の特徴雲として表現し、奥行きとカメラの動き情報を利用して、2Dビデオの機能を、カメラの動きが効果的にキャンセルされる3Dの世界空間に持ち上げる。 この安定化された3D表現の中で、TAPIP3Dは複数フレームの動き推定を反復的に洗練し、長時間の地平線上でのロバストな点追跡を可能にする。 3次元点分布の不規則な構造を扱うために, 正確な軌道推定を支援するために, 情報的かつ空間的整合性のある特徴近傍を構築する3次元認識型文脈化戦略である3D Neighborhood-to-Neighborhood(N2N)アテンション機構を提案する。 我々の3D中心の定式化は、既存の3Dポイントトラッキング法よりも性能を著しく向上させ、信頼性の高い深度が得られれば、最先端の2Dピクセルトラッカーよりも精度が向上する。 このモデルは、カメラ中心の(不安定な)座標と世界中心の(安定化された)座標の両方で推論をサポートし、カメラモーションの補正がロバストさの追跡に大きな利益をもたらすことを示す実験である。 TAPIP3Dは、従来の2次元および3次元トラッカーで使用されていた2次元正方形相関窓を、空間的に接地された3次元アテンション機構に置き換えることで、複数の3次元ポイントトラッキングベンチマークにおいて、強力で一貫した結果が得られる。 Project Page: https://tapip3d.github.io

関連論文リスト

• St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
  St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。 静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。 統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
  論文  参考訳（メタデータ） (2025-04-17T17:55:58Z)
• DELTA: Dense Efficient Long-range 3D Tracking for any video [82.26753323263009]
  DELTAは3次元空間内のすべてのピクセルを効率よく追跡し,ビデオ全体の正確な動き推定を可能にする手法である。 提案手法では,低分解能追跡のためのグローバルアテンション機構と,高分解能予測を実現するためのトランスフォーマーベースアップサンプラーを併用する。 提案手法は,3次元空間における細粒度・長期動作追跡を必要とするアプリケーションに対して,ロバストなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-10-31T17:59:01Z)
• TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
  我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。 このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
  論文  参考訳（メタデータ） (2024-07-08T13:28:47Z)
• SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
  本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。 この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。 3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
  論文  参考訳（メタデータ） (2024-04-05T17:59:25Z)
• Tracking by 3D Model Estimation of Unknown Objects in Videos [122.56499878291916]
  この表現は限定的であり、代わりに明示的なオブジェクト表現を用いて2次元追跡をガイドし改善することを提案する。 我々の表現は、全てのビデオフレームのオブジェクト上の全ての3Dポイント間の複雑な長期密度対応問題に取り組む。 提案手法は, 最適3次元形状, テクスチャ, 6DoFのポーズを推定するために, 新たな損失関数を最小化する。
  論文  参考訳（メタデータ） (2023-04-13T11:32:36Z)
• Time3D: End-to-End Joint Monocular 3D Object Detection and Tracking for Autonomous Driving [3.8073142980733]
  本稿では,モノクローナルビデオのみからエンドツーエンドに3D検出と3D追跡を共同で行うことを提案する。 Time3Dは21.4%のAMOTA、13.6%のAMOTPをnuScenesの3D追跡ベンチマークで達成し、全競合を抜いた。
  論文  参考訳（メタデータ） (2022-05-30T06:41:10Z)
• 3D Visual Tracking Framework with Deep Learning for Asteroid Exploration [22.808962211830675]
  本稿では,3次元追跡のための高精度かつリアルタイムな手法について検討する。 両眼ビデオシーケンス、深度マップ、様々な小惑星の点雲を含む、新しい大規模な3D小惑星追跡データセットが提示されている。 深層学習に基づく3DトラッキングフレームワークTrack3Dを提案する。このフレームワークは,2次元単分子トラッカーと,新しい軽量アモーダル軸整合バウンディングボックスネットワークであるA3BoxNetを備える。
  論文  参考訳（メタデータ） (2021-11-21T04:14:45Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。