論文の概要: 3D Point Tracking with State Space Models

• arxiv url: http://arxiv.org/abs/2609.34035v1
• Date: Sun, 27 Sep 2026 23:56:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:36:25.509619
• Title: 3D Point Tracking with State Space Models
• Title（参考訳）: 状態空間モデルによる3次元点追跡
• Abstract要約: 3Dポイントトラッカーは、3Dと4Dの再構築、ロボットナビゲーション、自動運転を支えている。 1つの点の2次元画像軌跡が固定されると、そのメートル法精度を規定する量は、そのピクセル線に沿った深さである。 最適構成は同一条件下で評価された手法の中で最高の絶対距離精度が得られる。
• 参考スコア（独自算出の注目度）: 6.283389478105533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tracking any point of a dynamic scene in metric 3D - in absolute meters, not up to an unknown scale - underpins 3D and 4D reconstruction, robot navigation, and autonomous driving, where decisions are made in meters, not pixels. Our objective is a 3D point tracker accurate in those absolute terms and operating within a single commodity GPU, pose-free, monocular budget. Our method rests on one observation: once a point's 2D image trajectory is fixed, the quantity that governs its metric accuracy is the depth along its pixel ray. Rather than learning tracking end-to-end, we therefore compose two frozen front-ends - dense optical flow for 2D correspondence and a monocular metric-depth network for the third dimension - and learn only the residual they cannot supply: that depth, refined by a compact state space model (Mamba-3) conditioned on appearance features (DINOv3). A state space model rather than the transformers the strongest 3D trackers adopt is what makes a single-GPU budget attainable: it summarises a track in a fixed-size recurrent state whose memory cost is constant in the number of frames, whereas attention requires a key-value cache that grows linearly with them. On the TAPVid-3D minival benchmark our best configuration attains the highest absolute metric accuracy among methods evaluated under identical conditions (mean metric Average Jaccard, 0.256), exceeding strong feed-forward trackers, while a companion analysis, reproduced with each competitor's own evaluator, explains why several published trackers lose most of their accuracy under this budget.
• Abstract（参考訳）: 3Dと4Dの再構築、ロボットナビゲーション、自律運転など、ピクセルではなくメートル単位で意思決定を行う。 我々の目標は、これらの絶対的な用語で正確な3Dポイントトラッカーであり、単一のコモディティGPU、ポーズフリー、単分子の予算内で動作することである。 1つの点の2次元画像軌跡が固定されると、そのメートル法精度を規定する量は、そのピクセル線に沿った深さである。 そこで我々は,2次元対応のための高密度光流と3次元対応のためのモノクロ距離ネットワークという2つの凍結したフロントエンドを学習し,それらが供給できない残差のみを学習する:その深さは,外観特徴を条件としたコンパクトな状態空間モデル(Mamba-3)によって洗練される。 フレーム数でメモリコストが一定である固定サイズのリカレント状態のトラックを和らげる一方、注意が必要なキー値キャッシュはそれらと線形に成長する。 TAPVID-3Dミニバルベンチマークでは,同一条件下で評価された手法(平均的ジャカード,0.256)の中で最高の絶対精度が達成され,フィードフォワードトラッカーをはるかに上回る結果が得られた。

関連論文リスト

• TAPVid-MV: A Benchmark for Tracking Any Point in 3D Across Multiple Views [50.26507994908593]
  この設定の最初のベンチマークであるTAPVid-MV(Tracking Any Point in Video across Multiple Views)を紹介します。 キュレートされた284のシーケンス、1,142のキャリブレーションされたカメラストリーム、109,769のトラックが、屋内と屋外のドメインにまたがる7つのサブセットにまたがっている。 本研究では,センサ深度,LiDAR,SLAM,SfM点,ヒューマンメッシュ,ポーズされたオブジェクトメッシュ,シミュレーションといった,データセット固有の補助的モダリティを用いてこれらのトラジェクトリを解析し,各シーケンスとトラジェクトリを人間のアノテーションによって視覚的に検証する。
  論文  参考訳（メタデータ） (2026-09-01T21:58:51Z)
• SpatialTrackerV2: 3D Point Tracking Made Easy [73.0350898700048]
  SpaceTrackerV2はモノクロビデオのフィードフォワード3Dポイントトラッキング手法である。 これは、世界空間の3Dモーションをシーン幾何学、カメラエゴモーション、ピクセルワイドオブジェクトモーションに分解する。 このような異種データから幾何学と運動を共同で学習することで、SpatialTrackerV2は既存の3Dトラッキング方法よりも30%優れています。
  論文  参考訳（メタデータ） (2025-07-16T17:59:03Z)
• TAPIP3D: Tracking Any Point in Persistent 3D Geometry [25.357437591411347]
  本稿では,モノクロおよびRGB-Dビデオにおける長期3次元点追跡の新しい手法であるTAPIP3Dを紹介する。 TAPIP3Dは、ビデオをカメラ安定化機能クラウドとして表現し、深度とカメラモーション情報を活用する。 我々の3D中心の定式化は既存の3D点追跡法よりも性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-04-20T19:09:43Z)
• TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
  我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。 このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
  論文  参考訳（メタデータ） (2024-07-08T13:28:47Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。