論文の概要: DynOMo: Online Point Tracking by Dynamic Online Monocular Gaussian Reconstruction
- arxiv url: http://arxiv.org/abs/2409.02104v1
- Date: Tue, 3 Sep 2024 17:58:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 00:04:31.227376
- Title: DynOMo: Online Point Tracking by Dynamic Online Monocular Gaussian Reconstruction
- Title（参考訳）: DynOMo:動的オンライン単分子ガウス再構成によるオンラインポイントトラッキング
- Authors: Jenny Seidenschwarz, Qunjie Zhou, Bardienus Duisterhof, Deva Ramanan, Laura Leal-Taixé,
- Abstract要約: モノクラーカメラ入力からのオンライン2Dおよび3Dポイントトラッキングの課題を対象としている。
我々は3Dガウススプラッティングを利用して動的シーンをオンラインに再構築する。
我々は,オンラインのポイントトラッキングとリコンストラクションを推進し,様々な現実のシナリオに適用可能にすることを目的としている。
- 参考スコア（独自算出の注目度）: 65.46359561104867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructing scenes and tracking motion are two sides of the same coin. Tracking points allow for geometric reconstruction [14], while geometric reconstruction of (dynamic) scenes allows for 3D tracking of points over time [24, 39]. The latter was recently also exploited for 2D point tracking to overcome occlusion ambiguities by lifting tracking directly into 3D [38]. However, above approaches either require offline processing or multi-view camera setups both unrealistic for real-world applications like robot navigation or mixed reality. We target the challenge of online 2D and 3D point tracking from unposed monocular camera input introducing Dynamic Online Monocular Reconstruction (DynOMo). We leverage 3D Gaussian splatting to reconstruct dynamic scenes in an online fashion. Our approach extends 3D Gaussians to capture new content and object motions while estimating camera movements from a single RGB frame. DynOMo stands out by enabling emergence of point trajectories through robust image feature reconstruction and a novel similarity-enhanced regularization term, without requiring any correspondence-level supervision. It sets the first baseline for online point tracking with monocular unposed cameras, achieving performance on par with existing methods. We aim to inspire the community to advance online point tracking and reconstruction, expanding the applicability to diverse real-world scenarios.
- Abstract（参考訳）: シーンの再構築と追跡動作は、同じコインの2つの側面である。
追跡ポイントは幾何学的再構成(14)が可能で、幾何学的(動的)なシーンは時間とともに3Dでポイントを追跡することができる[24,39]。
後者は、最近3D[38]に直接トラッキングを持ち上げることで、オクルージョンの曖昧さを克服するために、2Dポイントトラッキングにも利用されました。
しかし、上記のアプローチではオフライン処理か、ロボットナビゲーションや混合現実のような現実のアプリケーションでは非現実的なマルチビューカメラのセットアップが必要である。
動的オンラインモノクロレコンストラクション(DynOMo)を導入したモノクロカメラからのオンライン2Dおよび3Dポイントトラッキングの課題をターゲットにした。
我々は3Dガウススプラッティングを利用して動的シーンをオンラインに再構築する。
我々のアプローチは、3Dガウスアンを拡張して1枚のRGBフレームからカメラの動きを推定しながら、新しいコンテンツや物体の動きをキャプチャする。
DynOMoは、対応レベルの監督を必要とせず、頑健な画像特徴再構成と新しい類似性強化正規化項を通じて点軌道の出現を可能にすることで際立っている。
オンラインポイントトラッキングのための最初のベースラインをモノクロアンポーズカメラで設定し、既存の方法と同等のパフォーマンスを達成する。
我々は,オンラインのポイントトラッキングとリコンストラクションを推進し,様々な現実のシナリオに適用可能にすることを目的としている。
関連論文リスト
- Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。
シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。
本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-07-18T17:59:08Z) - SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。
この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。
3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
論文 参考訳（メタデータ） (2024-04-05T17:59:25Z) - Visual Geometry Grounded Deep Structure From Motion [20.203320509695306]
本稿では,各コンポーネントが完全に微分可能で,エンドツーエンドでトレーニング可能な,新しいディープパイプラインVGGSfMを提案する。
まず, 深部2次元点追跡の最近の進歩をベースとして, 画素精度の高いトラックを抽出し, ペアマッチングのチェーン化の必要性を解消する。
私たちは、CO3D、IMC Phototourism、ETH3Dという3つの一般的なデータセットで最先端のパフォーマンスを達成しました。
論文 参考訳（メタデータ） (2023-12-07T18:59:52Z) - R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras [106.52409577316389]
R3D3は高密度3次元再構成とエゴモーション推定のためのマルチカメラシステムである。
提案手法は,複数のカメラからの時空間情報と単眼深度補正を利用する。
この設計により、困難で動的な屋外環境の密集した一貫した3次元再構成が可能になる。
論文 参考訳（メタデータ） (2023-08-28T17:13:49Z) - Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。
具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
論文 参考訳（メタデータ） (2023-04-04T11:25:44Z) - MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。
モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
論文 参考訳（メタデータ） (2021-12-19T07:52:05Z) - Online Adaptation for Implicit Object Tracking and Shape Reconstruction
in the Wild [22.19769576901151]
本稿では,DeepSDFモデルを用いて野生の3Dオブジェクトの同時追跡と再構成を行う新しい統一フレームワークを提案する。
追跡と形状復元の両面において,最先端手法の大幅な改善が見られた。
論文 参考訳（メタデータ） (2021-11-24T19:00:05Z) - Reconstruction of 3D flight trajectories from ad-hoc camera networks [19.96488566402593]
本研究では,空飛ぶロボットシステムの3次元軌道を,同期しないカメラで撮影した映像から再構成する手法を提案する。
我々のアプローチは、安価で容易に配備できる装置を用いて、動的に飛来する目標の堅牢かつ正確な外部からの追跡を可能にする。
論文 参考訳（メタデータ） (2020-03-10T14:57:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。