論文の概要: DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild

• arxiv url: http://arxiv.org/abs/2411.13291v1
• Date: Wed, 20 Nov 2024 13:01:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:05.852662
• Title: DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild
• Title（参考訳）: DataP-SfM: 野生の運動からロバスト構造の任意の点を動的に追跡する
• Authors: Weicai Ye, Xinyu Chen, Ruohao Zhan, Di Huang, Xiaoshui Huang, Haoyi Zhu, Hujun Bao, Wanli Ouyang, Tong He, Guofeng Zhang,
• Abstract要約: 本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 85.03973683867797
• License:
• Abstract: This paper proposes a concise, elegant, and robust pipeline to estimate smooth camera trajectories and obtain dense point clouds for casual videos in the wild. Traditional frameworks, such as ParticleSfM~\cite{zhao2022particlesfm}, address this problem by sequentially computing the optical flow between adjacent frames to obtain point trajectories. They then remove dynamic trajectories through motion segmentation and perform global bundle adjustment. However, the process of estimating optical flow between two adjacent frames and chaining the matches can introduce cumulative errors. Additionally, motion segmentation combined with single-view depth estimation often faces challenges related to scale ambiguity. To tackle these challenges, we propose a dynamic-aware tracking any point (DATAP) method that leverages consistent video depth and point tracking. Specifically, our DATAP addresses these issues by estimating dense point tracking across the video sequence and predicting the visibility and dynamics of each point. By incorporating the consistent video depth prior, the performance of motion segmentation is enhanced. With the integration of DATAP, it becomes possible to estimate and optimize all camera poses simultaneously by performing global bundle adjustments for point tracking classified as static and visible, rather than relying on incremental camera registration. Extensive experiments on dynamic sequences, e.g., Sintel and TUM RGBD dynamic sequences, and on the wild video, e.g., DAVIS, demonstrate that the proposed method achieves state-of-the-art performance in terms of camera pose estimation even in complex dynamic challenge scenes.
• Abstract（参考訳）: 本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 ParticleSfM~\cite{zhao2022 Particlesfm} のような伝統的なフレームワークは、点軌道を得るために隣接するフレーム間の光の流れを逐次計算することでこの問題に対処する。 その後、モーションセグメンテーションにより動的軌跡を除去し、大域的なバンドル調整を行う。 しかし、隣接する2つのフレーム間の光の流れを推定し、一致を連鎖させる過程は累積誤差をもたらす可能性がある。 さらに、モーションセグメンテーションとシングルビューの深さ推定が組み合わさって、しばしばスケールのあいまいさに関連する課題に直面している。 これらの課題に対処するために、一貫したビデオ深度と点追跡を利用する動的認識型任意の点追跡法(DATAP)を提案する。 具体的には、ビデオシーケンス全体での高密度な点追跡を推定し、各点の可視性とダイナミクスを予測することで、これらの問題に対処する。 予め一貫した映像深度を組み込むことで、モーションセグメンテーションの性能が向上する。 DataPの統合により、インクリメンタルカメラ登録に頼るのではなく、静的かつ可視的に分類された点追跡のためのグローバルバンドル調整を行うことにより、すべてのカメラポーズを同時に推定し、最適化することが可能となる。 ダイナミックシークエンス,例えばシンテル, TUM RGBD 動的シークエンス, そして野生ビデオ, eg , DAVIS の広範な実験により, 複雑なダイナミックチャレンジシーンにおいても, カメラポーズ推定の手法を用いて, 最先端の性能を達成できることが実証された。

関連論文リスト

• ESVO2: Direct Visual-Inertial Odometry with Stereo Event Cameras [33.81592783496106]
  イベントベースのビジュアルオドメトリーは、トラッキングとサブプロブレムを並列にマッピングすることを目的としている。 イベントベースのステレオビジュアル慣性オドメトリーシステムを構築した。
  論文  参考訳（メタデータ） (2024-10-12T05:35:27Z)
• Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
  イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。 固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。 本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T04:36:13Z)
• Solution for Point Tracking Task of ICCV 1st Perception Test Challenge 2023 [50.910598799408326]
  Tracking Any Point (TAP) タスクは、ビデオを通じて任意の物理的表面を追跡する。 既存のいくつかのアプローチは、スムーズな運動軌跡を得るための時間的関係を考慮し、TAPを探索してきた。 我々は,静的カメラが撮影したビデオの静的点追跡の修正に焦点を当てた,信頼度の高い静的点付きTAP(TAPIR+)を提案する。
  論文  参考訳（メタデータ） (2024-03-26T13:50:39Z)
• LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry [52.131996528655094]
  本稿では,LEAP(Long-term Effective Any Point Tracking)モジュールについて述べる。 LEAPは、動的トラック推定のために、視覚的、トラック間、時間的キューと慎重に選択されたアンカーを革新的に組み合わせている。 これらの特徴に基づき,強靭な視力計測システムLEAP-VOを開発した。
  論文  参考訳（メタデータ） (2024-01-03T18:57:27Z)
• DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
  動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。 我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
  論文  参考訳（メタデータ） (2023-09-16T08:46:59Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth Estimation in Dynamic Scenes [19.810725397641406]
  シーン深度と3次元運動場を協調的に予測する新しいDyna-Depthformerフレームワークを提案する。 まず,多視点の相関を一連の自己・横断的層を通じて活用し,深度特徴表現の強化を図る。 第2に,動的物体の運動場をセマンティック・プレセプションを使わずに推定するワーピングに基づく運動ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-01-14T09:43:23Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• Event-based Motion Segmentation by Cascaded Two-Level Multi-Model Fitting [44.97191206895915]
  独立に動く物体を単眼イベントカメラで識別するためのケースド2レベル多モデルフィッティング法を提案する。 動作パターンの異なる実世界のシーンにおいて,本手法の有効性と汎用性を示す実験を行った。
  論文  参考訳（メタデータ） (2021-11-05T12:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。