論文の概要: TrackEverything: Long Horizon Dense Tracking via De-Duplicating 3D Scene Representations
- arxiv url: http://arxiv.org/abs/2609.30222v1
- Date: Thu, 24 Sep 2026 17:48:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:10.187844
- Title: TrackEverything: Long Horizon Dense Tracking via De-Duplicating 3D Scene Representations
- Title(参考訳): TrackEverything: 3D Scene Representationの非重複化による長距離Dense Tracking
- Abstract要約: 我々は3DポイントトラッカーであるTrackEverythingを紹介した。
我々は, ボキセル化に基づく脱複製機構を, スライドウインドウ境界に導入し, 同一位置のトラックをマージする。
本研究では,3D WAFTを提案し,シーンクラウドにおけるメモリ禁止型4D相関ボリュームを効率的な特徴サンプリングに置き換える。
- 参考スコア(独自算出の注目度): 27.929798372328293
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing point tracking models face a fundamental tradeoff: they can either track a sparse set of query points over long horizons, or track all points across only short clips. We introduce TrackEverything, a 3D point tracker that breaks this trade-off by representing videos as persistent 3D scene tracks in world coordinates. Grounded in the insight that videos are 2D projections of an underlying 3D world, TrackEverything decouples model complexity from video duration, allowing it to scale with unique physical scene geometry instead. Our approach introduces three key innovations. First, we employ a voxelization-based de-duplication mechanism at sliding-window boundaries to merge co-located tracks, preventing repeated observations of the same surface from redundantly accumulating. Second, we decompose tracking into an endpoint refiner that predicts each point's destination and static-versus-dynamic classification, followed by a lightweight trajectory refiner that decodes dense trajectories exclusively for dynamic points. Third, we propose 3D WAFT, replacing memory-prohibitive 4D correlation volumes with efficient feature sampling in the scene cloud. To the best of our knowledge, TrackEverything is the first 3D tracker capable of tracking all visible points across videos exceeding 1000 frames within 40 GB of GPU memory. On TAPVid-3D, TrackEverything outperforms all open-source all-frame dense 3D trackers by more than 20% APD on short clips, while remaining competitive with state-of-the-art sparse trackers on long sequences, despite tracking far more points.
- Abstract(参考訳): 既存のポイントトラッキングモデルは基本的なトレードオフに直面している。長い水平線上でスパースなクエリポイントのセットを追跡するか、短いクリップですべてのポイントを追跡することができる。
TrackEverythingは、このトレードオフを打破する3Dポイントトラッカーで、ビデオを世界座標の永続的な3Dシーントラックとして表現する。
TrackEverythingは、ビデオが3D世界の2Dプロジェクションであるという知見に基づいて、複雑さをビデオの長さから切り離す。
このアプローチには3つの重要なイノベーションがあります。
まず, 衝突風境界におけるボキセル化による脱数値化機構を用いて, 同一面の繰り返し観測が冗長に蓄積されることを防止した。
第2に、各点の宛先と静的-逆-動的分類を予測するエンドポイントリファインダに追跡を分解し、次いで、動的点のみにのみ高密度なトラジェクトリをデコードする軽量トラジェクトリリファインダを配置する。
第3に,3D WAFTを提案し,シーンクラウドにおけるメモリ禁止型4D相関ボリュームを効率的な特徴サンプリングに置き換える。
われわれの知る限り、TrackEverythingは最初の3Dトラッカーで、40GBのGPUメモリ内で1000フレームを超えるビデオの可視点を追跡できる。
TAPVid-3Dでは、TrackEverythingはすべてのオープンソース全フレームの高密度な3Dトラッカーを、短いクリップで20%以上のAPDで上回っている。
関連論文リスト
- TAPVid-MV: A Benchmark for Tracking Any Point in 3D Across Multiple Views [50.26507994908593]
この設定の最初のベンチマークであるTAPVid-MV(Tracking Any Point in Video across Multiple Views)を紹介します。
キュレートされた284のシーケンス、1,142のキャリブレーションされたカメラストリーム、109,769のトラックが、屋内と屋外のドメインにまたがる7つのサブセットにまたがっている。
本研究では,センサ深度,LiDAR,SLAM,SfM点,ヒューマンメッシュ,ポーズされたオブジェクトメッシュ,シミュレーションといった,データセット固有の補助的モダリティを用いてこれらのトラジェクトリを解析し,各シーケンスとトラジェクトリを人間のアノテーションによって視覚的に検証する。
論文 参考訳(メタデータ) (2026-09-01T21:58:51Z) - Track4World: Feedforward World-centric Dense 3D Tracking of All Pixels [67.36972154532761]
モノクロビデオから各ピクセルの3D軌跡を推定することは重要であり、ビデオの3Dダイナミックスを包括的に理解する上で有望である。
最近のモノラルな3D追跡作業は印象的な性能を示しているが、第1フレーム上のスパースポイントのトラッキングや、高密度トラッキングのための遅い最適化ベースのフレームワークに限られている。
そこで我々は,Track4Worldと呼ばれるフィードフォワードモデルを提案し,世界中心座標系における全画素の効率的な3D追跡を可能にする。
論文 参考訳(メタデータ) (2026-03-03T03:45:43Z) - TrackingWorld: World-centric Monocular 3D Tracking of Almost All Pixels [49.456225518469516]
モノクロ3Dトラッキングは、単一のモノクロビデオから3D空間内のピクセルの長期的な動きをキャプチャすることを目的としている。
本研究では,世界中心の3D座標系において,ほぼすべての画素の高密度3D追跡のための新しいパイプラインであるTrackingWorldを提案する。
論文 参考訳(メタデータ) (2025-12-09T08:35:42Z) - Multi-View 3D Point Tracking [67.21282192436031]
本稿では,複数のカメラビューを用いた動的シーンにおける任意の点の追跡を目的とした,データ駆動型マルチビュー3Dポイントトラッカーについて紹介する。
本モデルでは,現実的な数のカメラを用いて直接3次元対応を推定する。
我々は5K合成多視点Kubricシーケンスをトレーニングし、2つの実世界のベンチマークで評価する。
論文 参考訳(メタデータ) (2025-08-28T17:58:20Z) - SpatialTrackerV2: 3D Point Tracking Made Easy [73.0350898700048]
SpaceTrackerV2はモノクロビデオのフィードフォワード3Dポイントトラッキング手法である。
これは、世界空間の3Dモーションをシーン幾何学、カメラエゴモーション、ピクセルワイドオブジェクトモーションに分解する。
このような異種データから幾何学と運動を共同で学習することで、SpatialTrackerV2は既存の3Dトラッキング方法よりも30%優れています。
論文 参考訳(メタデータ) (2025-07-16T17:59:03Z) - SeqTrack3D: Exploring Sequence Information for Robust 3D Point Cloud
Tracking [26.405519771454102]
本稿では,SeqTrack3DというトラッカーとSequence-to-Sequenceトラッキングパラダイムを導入し,連続フレーム間の目標運動をキャプチャする。
本手法は, 重要点の少ないシーンにおいても, 歴史的ボックスからの位置情報を有効活用することにより, ロバストなトラッキングを実現する。
大規模なデータセットで実施された実験は、SeqTrack3Dが新しい最先端のパフォーマンスを実現することを示している。
論文 参考訳(メタデータ) (2024-02-26T02:14:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。