論文の概要: Tracking Everything Everywhere All at Once

• arxiv url: http://arxiv.org/abs/2306.05422v2
• Date: Tue, 12 Sep 2023 16:32:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 16:58:45.476846
• Title: Tracking Everything Everywhere All at Once
• Title（参考訳）: あらゆるものを一度に追跡する
• Authors: Qianqian Wang, Yen-Yu Chang, Ruojin Cai, Zhengqi Li, Bharath Hariharan, Aleksander Holynski, Noah Snavely
• Abstract要約: ビデオシーケンスから高密度及び長距離運動を推定するための新しいテスト時間最適化法を提案する。 我々はOmniMotionと呼ばれる完全で一貫した動作表現を提案する。 提案手法は,従来の最先端手法よりも定量的にも定性的にも大きなマージンで優れている。
• 参考スコア（独自算出の注目度）: 111.00807055441028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a new test-time optimization method for estimating dense and long-range motion from a video sequence. Prior optical flow or particle video tracking algorithms typically operate within limited temporal windows, struggling to track through occlusions and maintain global consistency of estimated motion trajectories. We propose a complete and globally consistent motion representation, dubbed OmniMotion, that allows for accurate, full-length motion estimation of every pixel in a video. OmniMotion represents a video using a quasi-3D canonical volume and performs pixel-wise tracking via bijections between local and canonical space. This representation allows us to ensure global consistency, track through occlusions, and model any combination of camera and object motion. Extensive evaluations on the TAP-Vid benchmark and real-world footage show that our approach outperforms prior state-of-the-art methods by a large margin both quantitatively and qualitatively. See our project page for more results: http://omnimotion.github.io/
• Abstract（参考訳）: ビデオシーケンスから高密度及び長距離運動を推定するための新しいテスト時間最適化法を提案する。 従来の光学フローまたは粒子ビデオ追跡アルゴリズムは、通常、限られた時間窓内で動作し、オクルージョンを追尾し、推定された運動軌跡のグローバルな一貫性を維持するのに苦労する。 ビデオ中の全画素の正確な全長モーション推定を可能にする,omnimotionと呼ばれる完全かつグローバルに一貫したモーション表現を提案する。 OmniMotionは、準3Dカノニカルボリュームを使用して動画を表現し、局所空間とカノニカル空間の間の複射によるピクセルワイドトラッキングを行う。 この表現は、グローバルに一貫性を確保し、オクルージョンを追跡し、カメラとオブジェクトの動きの組み合わせをモデル化できます。 TAP-Vidベンチマークと実世界の映像の大規模な評価は、我々の手法が従来の最先端手法よりも定量的にも質的にも優れていることを示している。 さらなる結果については、プロジェクトページを参照してください。

関連論文リスト

• Decomposition Betters Tracking Everything Everywhere [8.199205242808592]
  DecoMotionと呼ばれる新しいテスト時間最適化手法を提案し、画素ごとの動作と長距離動きを推定する。 提案手法は,ポイントトラッキングの精度を高いマージンで向上させ,最先端のポイントトラッキングソリューションと同等に動作させる。
  論文  参考訳（メタデータ） (2024-07-09T04:01:23Z)
• Dense Optical Tracking: Connecting the Dots [82.79642869586587]
  DOTは、ビデオにおけるポイントトラッキングの問題を解決するための、新しくてシンプルで効率的な方法である。 OmniMotionのような高度な"ユニバーサルトラッカー"を上回り、CoTrackerのような最良のポイントトラッキングアルゴリズムと同等か、あるいはそれ以上の精度で、DOTが現在の光フロー技術よりもはるかに正確であることを示す。
  論文  参考訳（メタデータ） (2023-12-01T18:59:59Z)
• PointOdyssey: A Large-Scale Synthetic Dataset for Long-Term Point Tracking [90.29143475328506]
  本稿では,大規模合成データセットとデータ生成フレームワークであるPointOdysseyを紹介する。 私たちのゴールは、自然主義的な動きを持つ長いビデオに重点を置いて、最先端の技術を推し進めることです。 実世界のモーションキャプチャーデータを用いて変形可能なキャラクタをアニメーション化し、モーションキャプチャー環境に合わせて3Dシーンを構築し、リアルビデオ上で構造から抽出したトラジェクトリを用いてカメラ視点を描画する。
  論文  参考訳（メタデータ） (2023-07-27T17:58:11Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• Particle Videos Revisited: Tracking Through Occlusions Using Point Trajectories [29.258861811749103]
  我々はSandとTellerの"パーティクルビデオ"アプローチを再検討し、長距離モーション推定問題としてピクセル追跡について検討する。 私たちはこの古典的なアプローチを、現在の最先端のフローとオブジェクトトラッキングを駆動するコンポーネントを使って再構築します。 既存の光学フローデータセットから抽出した長距離アモーダル点軌道を用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2022-04-08T16:05:48Z)
• Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
  本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。 提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-29T11:25:14Z)
• Consistent Depth of Moving Objects in Video [52.72092264848864]
  移動カメラで撮影した通常の映像から任意の移動物体を含む動的シーンの深さを推定する手法を提案する。 我々は、この目的を、深度予測CNNを入力ビデオ全体にわたって補助的なシーンフロー予測でタンデムで訓練する新しいテストタイムトレーニングフレームワークで定式化する。 我々は、さまざまな移動物体(ペット、人、車)とカメラの動きを含む様々な挑戦的なビデオに対して、正確かつ時間的に一貫性のある結果を示す。
  論文  参考訳（メタデータ） (2021-08-02T20:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。