論文の概要: ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving
Cameras in the Wild
- arxiv url: http://arxiv.org/abs/2207.09137v1
- Date: Tue, 19 Jul 2022 09:19:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 13:09:13.641670
- Title: ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving
Cameras in the Wild
- Title(参考訳): ParticleSfM:野生で動くカメラを位置決めするための高密度軌跡の爆発
- Authors: Wang Zhao, Shaohui Liu, Hengkai Guo, Wenping Wang, Yong-Jin Liu
- Abstract要約: 本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。
不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。
MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
- 参考スコア(独自算出の注目度): 57.37891682117178
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Estimating the pose of a moving camera from monocular video is a challenging
problem, especially due to the presence of moving objects in dynamic
environments, where the performance of existing camera pose estimation methods
are susceptible to pixels that are not geometrically consistent. To tackle this
challenge, we present a robust dense indirect structure-from-motion method for
videos that is based on dense correspondence initialized from pairwise optical
flow. Our key idea is to optimize long-range video correspondence as dense
point trajectories and use it to learn robust estimation of motion
segmentation. A novel neural network architecture is proposed for processing
irregular point trajectory data. Camera poses are then estimated and optimized
with global bundle adjustment over the portion of long-range point trajectories
that are classified as static. Experiments on MPI Sintel dataset show that our
system produces significantly more accurate camera trajectories compared to
existing state-of-the-art methods. In addition, our method is able to retain
reasonable accuracy of camera poses on fully static scenes, which consistently
outperforms strong state-of-the-art dense correspondence based methods with
end-to-end deep learning, demonstrating the potential of dense indirect methods
based on optical flow and point trajectories. As the point trajectory
representation is general, we further present results and comparisons on
in-the-wild monocular videos with complex motion of dynamic objects. Code is
available at https://github.com/bytedance/particle-sfm.
- Abstract(参考訳): 動画像から移動カメラのポーズを推定することは、特に動的環境において移動物体が存在するため、特に問題であり、既存のカメラポーズ推定手法の性能は、幾何学的に一貫性のない画素に影響を受けやすい。
そこで本研究では, 対方向光流から初期化した密接な対応に基づく映像に対して, 頑健な間接構造から移動する手法を提案する。
我々のキーとなる考え方は、長距離ビデオ対応を高密度な点軌道として最適化し、それを用いて動きのセグメンテーションの堅牢な推定を学習することである。
不規則点軌道データを処理するニューラルネットワークアーキテクチャを提案する。
次にカメラポーズを推定し、静的に分類された長距離点軌道の一部に対してグローバルバンドル調整によって最適化する。
MPIシンテルデータセットを用いた実験により,既存の最先端手法と比較して,より正確なカメラトラジェクトリが得られた。
さらに,完全静的シーンにおけるカメラポーズの適度な精度を保ち,エンド・ツー・エンドのディープラーニングを用いた最先端の高密度対応ベース手法を一貫して上回り,光学的流れと点軌跡に基づく高密度間接手法の可能性を示す。
点軌跡表現が一般化するにつれて,動的物体の複雑な動きを伴う実機内単眼映像について,さらに結果と比較を行う。
コードはhttps://github.com/bytedance/particle-sfmで入手できる。
関連論文リスト
- DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-03-09T12:22:46Z) - Motion Segmentation from a Moving Monocular Camera [3.115818438802931]
我々は、点軌跡法と光フロー法という、単眼運動分割手法の2つの一般的な分岐を生かしている。
我々は異なるシーン構造で様々な複雑な物体の動きを同時にモデル化することができる。
提案手法は,KT3DMoSegデータセット上での最先端性能を示す。
論文 参考訳(メタデータ) (2023-09-24T22:59:05Z) - Tracking Everything Everywhere All at Once [111.00807055441028]
ビデオシーケンスから高密度及び長距離運動を推定するための新しいテスト時間最適化法を提案する。
我々はOmniMotionと呼ばれる完全で一貫した動作表現を提案する。
提案手法は,従来の最先端手法よりも定量的にも定性的にも大きなマージンで優れている。
論文 参考訳(メタデータ) (2023-06-08T17:59:29Z) - HVC-Net: Unifying Homography, Visibility, and Confidence Learning for
Planar Object Tracking [5.236567998857959]
我々は、ホモグラフィ、可視性、信頼性を共同で検討する統合畳み込みニューラルネットワーク(CNN)モデルを提案する。
提案手法は,パブリックPOTおよびTMTデータセットの最先端手法よりも優れている。
論文 参考訳(メタデータ) (2022-09-19T11:11:56Z) - Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。
短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
論文 参考訳(メタデータ) (2022-03-14T17:55:41Z) - Attentive and Contrastive Learning for Joint Depth and Motion Field
Estimation [76.58256020932312]
単眼視システムからシーンの3次元構造とともにカメラの動きを推定することは複雑な作業である。
モノクロ映像からの3次元物体運動場推定のための自己教師付き学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-13T16:45:01Z) - Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。
この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
論文 参考訳(メタデータ) (2020-12-16T04:06:02Z) - Robust On-Manifold Optimization for Uncooperative Space Relative
Navigation with a Single Camera [4.129225533930966]
単分子装置のみを用いて、チェッカー宇宙船に対して対象物体の6次元ポーズを推定するために、革新的なモデルに基づくアプローチが実証された。
複雑な宇宙船エンビザットとランデブー軌道のリアルな合成と実験室のデータセットで検証されている。
論文 参考訳(メタデータ) (2020-05-14T16:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。