論文の概要: Multi-View 3D Point Tracking

• arxiv url: http://arxiv.org/abs/2508.21060v1
• Date: Thu, 28 Aug 2025 17:58:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.552538
• Title: Multi-View 3D Point Tracking
• Title（参考訳）: マルチビュー3次元ポイントトラッキング
• Authors: Frano Rajič, Haofei Xu, Marko Mihajlovic, Siyuan Li, Irem Demir, Emircan Gündoğdu, Lei Ke, Sergey Prokudin, Marc Pollefeys, Siyu Tang,
• Abstract要約: 本稿では,複数のカメラビューを用いた動的シーンにおける任意の点の追跡を目的とした,データ駆動型マルチビュー3Dポイントトラッカーについて紹介する。 本モデルでは,現実的な数のカメラを用いて直接3次元対応を推定する。 我々は5K合成多視点Kubricシーケンスをトレーニングし、2つの実世界のベンチマークで評価する。
• 参考スコア（独自算出の注目度）: 67.21282192436031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the first data-driven multi-view 3D point tracker, designed to track arbitrary points in dynamic scenes using multiple camera views. Unlike existing monocular trackers, which struggle with depth ambiguities and occlusion, or prior multi-camera methods that require over 20 cameras and tedious per-sequence optimization, our feed-forward model directly predicts 3D correspondences using a practical number of cameras (e.g., four), enabling robust and accurate online tracking. Given known camera poses and either sensor-based or estimated multi-view depth, our tracker fuses multi-view features into a unified point cloud and applies k-nearest-neighbors correlation alongside a transformer-based update to reliably estimate long-range 3D correspondences, even under occlusion. We train on 5K synthetic multi-view Kubric sequences and evaluate on two real-world benchmarks: Panoptic Studio and DexYCB, achieving median trajectory errors of 3.1 cm and 2.0 cm, respectively. Our method generalizes well to diverse camera setups of 1-8 views with varying vantage points and video lengths of 24-150 frames. By releasing our tracker alongside training and evaluation datasets, we aim to set a new standard for multi-view 3D tracking research and provide a practical tool for real-world applications. Project page available at https://ethz-vlg.github.io/mvtracker.
• Abstract（参考訳）: 本稿では,複数のカメラビューを用いた動的シーンにおける任意の点の追跡を目的とした,データ駆動型マルチビュー3Dポイントトラッカーについて紹介する。 奥行きの曖昧さや隠蔽に苦しむ既存の単眼トラッカーや、20台以上のカメラと退屈なシーケンスごとの最適化を必要とする従来のマルチカメラ手法とは異なり、我々のフィードフォワードモデルは、実用的な数のカメラ(例:4)を使って直接3D対応を予測し、堅牢で正確なオンライントラッキングを可能にする。 カメラのポーズや、センサーベースか推定されたマルチビュー深度を考慮すれば、トラッカーはマルチビュー機能を統一された点クラウドに融合させ、k-nearest-neighbors相関をトランスフォーマーベースの更新と併用して、たとえ閉塞下であっても長距離3D対応を確実に推定する。 筆者らは5Kの合成多視点クブリックシーケンスを学習し、Panoptic StudioとDexYCBの2つの実世界のベンチマークで評価し、それぞれ3.1cmと2.0cmの平均軌道誤差を達成した。 提案手法は,24-150フレームのベタージュ点とビデオ長の異なる1-8ビューの多様なカメラ構成によく対応している。 トレーニングと評価データセットとともにトラッカーをリリースすることにより、マルチビュー3Dトラッキング研究の新しい標準を設定し、現実のアプリケーションに実用的なツールを提供することを目指している。 プロジェクトページはhttps://ethz-vlg.github.io/mvtracker.comで公開されている。

関連論文リスト

• SpatialTrackerV2: 3D Point Tracking Made Easy [73.0350898700048]
  SpaceTrackerV2はモノクロビデオのフィードフォワード3Dポイントトラッキング手法である。 これは、世界空間の3Dモーションをシーン幾何学、カメラエゴモーション、ピクセルワイドオブジェクトモーションに分解する。 このような異種データから幾何学と運動を共同で学習することで、SpatialTrackerV2は既存の3Dトラッキング方法よりも30%優れています。
  論文  参考訳（メタデータ） (2025-07-16T17:59:03Z)
• TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
  我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。 このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
  論文  参考訳（メタデータ） (2024-07-08T13:28:47Z)
• LMGP: Lifted Multicut Meets Geometry Projections for Multi-Camera Multi-Object Tracking [42.87953709286856]
  マルチカメラ マルチオブジェクト追跡は、現実のアプリケーションにおいて優れた性能を持つため、コンピュータビジョン分野において現在注目されている。 本稿では,空間時空間昇降型マルチカット定式化に基づく数学的にエレガントなマルチカメラ・マルチオブジェクト追跡手法を提案する。
  論文  参考訳（メタデータ） (2021-11-23T14:09:47Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。