論文の概要: ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild

• arxiv url: http://arxiv.org/abs/2207.09137v1
• Date: Tue, 19 Jul 2022 09:19:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 13:09:13.641670
• Title: ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild
• Title（参考訳）: ParticleSfM:野生で動くカメラを位置決めするための高密度軌跡の爆発
• Authors: Wang Zhao, Shaohui Liu, Hengkai Guo, Wenping Wang, Yong-Jin Liu
• Abstract要約: 本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
• 参考スコア（独自算出の注目度）: 57.37891682117178
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Estimating the pose of a moving camera from monocular video is a challenging problem, especially due to the presence of moving objects in dynamic environments, where the performance of existing camera pose estimation methods are susceptible to pixels that are not geometrically consistent. To tackle this challenge, we present a robust dense indirect structure-from-motion method for videos that is based on dense correspondence initialized from pairwise optical flow. Our key idea is to optimize long-range video correspondence as dense point trajectories and use it to learn robust estimation of motion segmentation. A novel neural network architecture is proposed for processing irregular point trajectory data. Camera poses are then estimated and optimized with global bundle adjustment over the portion of long-range point trajectories that are classified as static. Experiments on MPI Sintel dataset show that our system produces significantly more accurate camera trajectories compared to existing state-of-the-art methods. In addition, our method is able to retain reasonable accuracy of camera poses on fully static scenes, which consistently outperforms strong state-of-the-art dense correspondence based methods with end-to-end deep learning, demonstrating the potential of dense indirect methods based on optical flow and point trajectories. As the point trajectory representation is general, we further present results and comparisons on in-the-wild monocular videos with complex motion of dynamic objects. Code is available at https://github.com/bytedance/particle-sfm.
• Abstract（参考訳）: 動画像から移動カメラのポーズを推定することは、特に動的環境において移動物体が存在するため、特に問題であり、既存のカメラポーズ推定手法の性能は、幾何学的に一貫性のない画素に影響を受けやすい。 そこで本研究では, 対方向光流から初期化した密接な対応に基づく映像に対して, 頑健な間接構造から移動する手法を提案する。 我々のキーとなる考え方は、長距離ビデオ対応を高密度な点軌道として最適化し、それを用いて動きのセグメンテーションの堅牢な推定を学習することである。 不規則点軌道データを処理するニューラルネットワークアーキテクチャを提案する。 次にカメラポーズを推定し、静的に分類された長距離点軌道の一部に対してグローバルバンドル調整によって最適化する。 MPIシンテルデータセットを用いた実験により,既存の最先端手法と比較して,より正確なカメラトラジェクトリが得られた。 さらに,完全静的シーンにおけるカメラポーズの適度な精度を保ち,エンド・ツー・エンドのディープラーニングを用いた最先端の高密度対応ベース手法を一貫して上回り,光学的流れと点軌跡に基づく高密度間接手法の可能性を示す。 点軌跡表現が一般化するにつれて,動的物体の複雑な動きを伴う実機内単眼映像について,さらに結果と比較を行う。 コードはhttps://github.com/bytedance/particle-sfmで入手できる。

関連論文リスト

• DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
  本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-20T13:01:16Z)
• ESVO2: Direct Visual-Inertial Odometry with Stereo Event Cameras [33.81592783496106]
  イベントベースのビジュアルオドメトリーは、トラッキングとサブプロブレムを並列にマッピングすることを目的としている。 イベントベースのステレオビジュアル慣性オドメトリーシステムを構築した。
  論文  参考訳（メタデータ） (2024-10-12T05:35:27Z)
• Decomposition Betters Tracking Everything Everywhere [8.199205242808592]
  DecoMotionと呼ばれる新しいテスト時間最適化手法を提案し、画素ごとの動作と長距離動きを推定する。 提案手法は,ポイントトラッキングの精度を高いマージンで向上させ,最先端のポイントトラッキングソリューションと同等に動作させる。
  論文  参考訳（メタデータ） (2024-07-09T04:01:23Z)
• Tracking Everything Everywhere All at Once [111.00807055441028]
  ビデオシーケンスから高密度及び長距離運動を推定するための新しいテスト時間最適化法を提案する。 我々はOmniMotionと呼ばれる完全で一貫した動作表現を提案する。 提案手法は,従来の最先端手法よりも定量的にも定性的にも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2023-06-08T17:59:29Z)
• HVC-Net: Unifying Homography, Visibility, and Confidence Learning for Planar Object Tracking [5.236567998857959]
  我々は、ホモグラフィ、可視性、信頼性を共同で検討する統合畳み込みニューラルネットワーク(CNN)モデルを提案する。 提案手法は,パブリックPOTおよびTMTデータセットの最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2022-09-19T11:11:56Z)
• Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
  本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。 短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
  論文  参考訳（メタデータ） (2022-03-14T17:55:41Z)
• Attentive and Contrastive Learning for Joint Depth and Motion Field Estimation [76.58256020932312]
  単眼視システムからシーンの3次元構造とともにカメラの動きを推定することは複雑な作業である。 モノクロ映像からの3次元物体運動場推定のための自己教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:45:01Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。