論文の概要: DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild

• arxiv url: http://arxiv.org/abs/2411.13291v1
• Date: Wed, 20 Nov 2024 13:01:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:05.852662
• Title: DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild
• Title（参考訳）: DataP-SfM: 野生の運動からロバスト構造の任意の点を動的に追跡する
• Authors: Weicai Ye, Xinyu Chen, Ruohao Zhan, Di Huang, Xiaoshui Huang, Haoyi Zhu, Hujun Bao, Wanli Ouyang, Tong He, Guofeng Zhang,
• Abstract要約: 本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 85.03973683867797
• License:
• Abstract: This paper proposes a concise, elegant, and robust pipeline to estimate smooth camera trajectories and obtain dense point clouds for casual videos in the wild. Traditional frameworks, such as ParticleSfM~\cite{zhao2022particlesfm}, address this problem by sequentially computing the optical flow between adjacent frames to obtain point trajectories. They then remove dynamic trajectories through motion segmentation and perform global bundle adjustment. However, the process of estimating optical flow between two adjacent frames and chaining the matches can introduce cumulative errors. Additionally, motion segmentation combined with single-view depth estimation often faces challenges related to scale ambiguity. To tackle these challenges, we propose a dynamic-aware tracking any point (DATAP) method that leverages consistent video depth and point tracking. Specifically, our DATAP addresses these issues by estimating dense point tracking across the video sequence and predicting the visibility and dynamics of each point. By incorporating the consistent video depth prior, the performance of motion segmentation is enhanced. With the integration of DATAP, it becomes possible to estimate and optimize all camera poses simultaneously by performing global bundle adjustments for point tracking classified as static and visible, rather than relying on incremental camera registration. Extensive experiments on dynamic sequences, e.g., Sintel and TUM RGBD dynamic sequences, and on the wild video, e.g., DAVIS, demonstrate that the proposed method achieves state-of-the-art performance in terms of camera pose estimation even in complex dynamic challenge scenes.
• Abstract（参考訳）: 本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 ParticleSfM~\cite{zhao2022 Particlesfm} のような伝統的なフレームワークは、点軌道を得るために隣接するフレーム間の光の流れを逐次計算することでこの問題に対処する。 その後、モーションセグメンテーションにより動的軌跡を除去し、大域的なバンドル調整を行う。 しかし、隣接する2つのフレーム間の光の流れを推定し、一致を連鎖させる過程は累積誤差をもたらす可能性がある。 さらに、モーションセグメンテーションとシングルビューの深さ推定が組み合わさって、しばしばスケールのあいまいさに関連する課題に直面している。 これらの課題に対処するために、一貫したビデオ深度と点追跡を利用する動的認識型任意の点追跡法(DATAP)を提案する。 具体的には、ビデオシーケンス全体での高密度な点追跡を推定し、各点の可視性とダイナミクスを予測することで、これらの問題に対処する。 予め一貫した映像深度を組み込むことで、モーションセグメンテーションの性能が向上する。 DataPの統合により、インクリメンタルカメラ登録に頼るのではなく、静的かつ可視的に分類された点追跡のためのグローバルバンドル調整を行うことにより、すべてのカメラポーズを同時に推定し、最適化することが可能となる。 ダイナミックシークエンス,例えばシンテル, TUM RGBD 動的シークエンス, そして野生ビデオ, eg , DAVIS の広範な実験により, 複雑なダイナミックチャレンジシーンにおいても, カメラポーズ推定の手法を用いて, 最先端の性能を達成できることが実証された。

関連論文リスト

• MONA: Moving Object Detection from Videos Shot by Dynamic Camera [20.190677328673836]
  ダイナミックカメラで撮影されたビデオから、ロバストな移動物体の検出とセグメンテーションを行うためのフレームワークであるMONAを紹介する。 MonAは2つの重要なモジュールから構成される: 動的ポイント抽出(Dynamic Points extract)は光学フローを活用し、動的ポイントを識別するための任意のポイントを追跡する。 カメラ軌道推定手法LEAP-VOと統合してMONAを検証する。
  論文  参考訳（メタデータ） (2025-01-22T19:30:28Z)
• Event-Based Tracking Any Point with Motion-Augmented Temporal Consistency [58.719310295870024]
  本稿では,任意の点を追跡するイベントベースのフレームワークを提案する。 出来事の空間的空間性や動きの感度によって引き起こされる課題に対処する。 競合モデルパラメータによる処理を150%高速化する。
  論文  参考訳（メタデータ） (2024-12-02T09:13:29Z)
• ESVO2: Direct Visual-Inertial Odometry with Stereo Event Cameras [33.81592783496106]
  イベントベースビジュアル・オドメトリーは、追跡とサブプロブレムのマッピング(典型的には並列)を解決することを目的としている 直接パイプライン上に,イベントベースのステレオビジュアル慣性オドメトリーシステムを構築した。 結果として得られるシステムは、現代の高解像度のイベントカメラでうまくスケールする。
  論文  参考訳（メタデータ） (2024-10-12T05:35:27Z)
• Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
  イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。 固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。 本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T04:36:13Z)
• Solution for Point Tracking Task of ICCV 1st Perception Test Challenge 2023 [50.910598799408326]
  Tracking Any Point (TAP) タスクは、ビデオを通じて任意の物理的表面を追跡する。 既存のいくつかのアプローチは、スムーズな運動軌跡を得るための時間的関係を考慮し、TAPを探索してきた。 我々は,静的カメラが撮影したビデオの静的点追跡の修正に焦点を当てた,信頼度の高い静的点付きTAP(TAPIR+)を提案する。
  論文  参考訳（メタデータ） (2024-03-26T13:50:39Z)
• DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
  動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。 我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
  論文  参考訳（メタデータ） (2023-09-16T08:46:59Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。