論文の概要: Dynamic Point Maps: A Versatile Representation for Dynamic 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2503.16318v1
• Date: Thu, 20 Mar 2025 16:41:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:31:45.089599
• Title: Dynamic Point Maps: A Versatile Representation for Dynamic 3D Reconstruction
• Title（参考訳）: ダイナミックポイントマップ:動的3次元再構成のためのヴァーサタイル表現
• Authors: Edgar Sucar, Zihang Lai, Eldar Insafutdinov, Andrea Vedaldi,
• Abstract要約: 本研究では,ダイナミックポイントマップ(DPM)を導入し,モーションセグメンテーション,シーンフロー推定,3次元物体追跡,2次元対応などの4次元タスクをサポートする標準点マップを拡張した。 我々は,合成データと実データを組み合わせたDPM予測器を訓練し,映像深度予測,ダイナミックポイントクラウド再構成,3次元シーンフロー,オブジェクトポーズ追跡,最先端性能の達成など,様々なベンチマークで評価する。
• 参考スコア（独自算出の注目度）: 56.32589034046427
• License:
• Abstract: DUSt3R has recently shown that one can reduce many tasks in multi-view geometry, including estimating camera intrinsics and extrinsics, reconstructing the scene in 3D, and establishing image correspondences, to the prediction of a pair of viewpoint-invariant point maps, i.e., pixel-aligned point clouds defined in a common reference frame. This formulation is elegant and powerful, but unable to tackle dynamic scenes. To address this challenge, we introduce the concept of Dynamic Point Maps (DPM), extending standard point maps to support 4D tasks such as motion segmentation, scene flow estimation, 3D object tracking, and 2D correspondence. Our key intuition is that, when time is introduced, there are several possible spatial and time references that can be used to define the point maps. We identify a minimal subset of such combinations that can be regressed by a network to solve the sub tasks mentioned above. We train a DPM predictor on a mixture of synthetic and real data and evaluate it across diverse benchmarks for video depth prediction, dynamic point cloud reconstruction, 3D scene flow and object pose tracking, achieving state-of-the-art performance. Code, models and additional results are available at https://www.robots.ox.ac.uk/~vgg/research/dynamic-point-maps/.
• Abstract（参考訳）: DUSt3Rは、カメラの内在と外在を推定し、シーンを3Dで再構成し、画像対応を確立し、共通の参照フレームで定義された一対の視点不変点マップ、すなわちピクセル整列点雲の予測など、多視点幾何学における多くのタスクを削減できることを最近示した。 この定式化はエレガントで強力だが、動的なシーンに対処できない。 この課題に対処するために、ダイナミックポイントマップ(DPM)の概念を導入し、モーションセグメンテーション、シーンフロー推定、3Dオブジェクト追跡、および2D対応などの4Dタスクをサポートする標準点マップを拡張した。 我々の重要な直感は、時間が導入されると、点写像を定義するために使用できる空間的および時間的参照がいくつか存在することである。 このような組み合わせの最小限のサブセットをネットワークによって回帰し、上記のサブタスクを解決する。 我々は,合成データと実データを組み合わせたDPM予測器を訓練し,映像深度予測,ダイナミックポイントクラウド再構成,3次元シーンフロー,オブジェクトポーズ追跡,最先端性能の達成など,様々なベンチマークで評価する。 コード、モデル、その他の結果はhttps://www.robots.ox.uk/~vgg/research/dynamic-point-maps/で確認できる。

関連論文リスト

• Continuous 3D Perception Model with Persistent State [111.83854602049222]
  広い範囲の3Dタスクを解くことができる統一的なフレームワークを提案する。 我々のアプローチでは、新しい観測毎に状態表現を継続的に更新するステートフルなリカレントモデルが特徴である。 各種3D/4Dタスクにおける本手法の評価を行い,各課題における競合性や最先端性能を実証する。
  論文  参考訳（メタデータ） (2025-01-21T18:59:23Z)
• DualPM: Dual Posed-Canonical Point Maps for 3D Shape and Pose Reconstruction [67.13370009386635]
  そこで,Dual Point Maps (DualPM) では,同じ画像から一対の点マップを抽出し,一対の点マップをオブジェクト上の3D位置と関連付け,一対の点マップを静止時の標準バージョンに関連付ける。 3次元再構成と3次元ポーズ推定がDualPMの予測に比例することを示した。
  論文  参考訳（メタデータ） (2024-12-05T18:59:48Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
  我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。 このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
  論文  参考訳（メタデータ） (2024-07-08T13:28:47Z)
• Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors [25.393382192511716]
  我々は,分散エッジセンサのネットワークとオブジェクトレベルの情報からなる多視点3次元意味マッピングシステムを拡張した。 提案手法は,数cm以内でのポーズ推定と,実験室環境におけるセンサネットワークを用いた実環境実験により,Behaveデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2022-11-21T11:13:08Z)
• Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
  質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。 以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
  論文  参考訳（メタデータ） (2021-04-21T00:35:32Z)
• Tracking Emerges by Looking Around Static Scenes, with Neural 3D Mapping [23.456046776979903]
  本稿では,任意の場面(静的あるいは動的)における静止点のマルチビューデータを利用して,ニューラル3Dマッピングモジュールを学習することを提案する。 ニューラル3Dマッパーは、RGB-Dデータを入力として消費し、深い特徴の3Dボクセルグリッドを出力として生成する。 教師なし3Dオブジェクトトラッカーは、教師なし2Dと2.5Dのトラッカーよりも優れており、教師なし3Dオブジェクトトラッカーの精度に近づいていることを示す。
  論文  参考訳（メタデータ） (2020-08-04T02:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。