論文の概要: Decomposition Betters Tracking Everything Everywhere

• arxiv url: http://arxiv.org/abs/2407.06531v2
• Date: Tue, 16 Jul 2024 14:11:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 20:10:21.796733
• Title: Decomposition Betters Tracking Everything Everywhere
• Title（参考訳）: あらゆるものを追跡する分解
• Authors: Rui Li, Dong Liu,
• Abstract要約: DecoMotionと呼ばれる新しいテスト時間最適化手法を提案し、画素ごとの動作と長距離動きを推定する。 提案手法は,ポイントトラッキングの精度を高いマージンで向上させ,最先端のポイントトラッキングソリューションと同等に動作させる。
• 参考スコア（独自算出の注目度）: 8.199205242808592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies on motion estimation have advocated an optimized motion representation that is globally consistent across the entire video, preferably for every pixel. This is challenging as a uniform representation may not account for the complex and diverse motion and appearance of natural videos. We address this problem and propose a new test-time optimization method, named DecoMotion, for estimating per-pixel and long-range motion. DecoMotion explicitly decomposes video content into static scenes and dynamic objects, either of which uses a quasi-3D canonical volume to represent. DecoMotion separately coordinates the transformations between local and canonical spaces, facilitating an affine transformation for the static scene that corresponds to camera motion. For the dynamic volume, DecoMotion leverages discriminative and temporally consistent features to rectify the non-rigid transformation. The two volumes are finally fused to fully represent motion and appearance. This divide-and-conquer strategy leads to more robust tracking through occlusions and deformations and meanwhile obtains decomposed appearances. We conduct evaluations on the TAP-Vid benchmark. The results demonstrate our method boosts the point-tracking accuracy by a large margin and performs on par with some state-of-the-art dedicated point-tracking solutions.
• Abstract（参考訳）: 動き推定に関する最近の研究は、ビデオ全体、好ましくは各ピクセルに対して一様に一貫した、最適化された動き表現を提唱している。 均一な表現は、自然ビデオの複雑で多様な動きや外観を考慮しないため、これは難しい。 この問題に対処し,DecoMotionという新しいテスト時間最適化手法を提案する。 DecoMotionはビデオコンテンツを静的シーンと動的オブジェクトに明示的に分解する。 DecoMotionは局所空間と標準空間の間の変換を別々に調整し、カメラの動きに対応する静的シーンに対するアフィン変換を容易にする。 ダイナミックボリュームに対しては、DecoMotionは差別的かつ時間的に一貫した特徴を活用して、非厳密な変換を是正する。 最終的に2巻は、動きと外観を完全に表現するために融合される。 この分割・対数戦略は、閉塞や変形によるより堅牢な追跡につながり、一方、分解された外観を得る。 我々はTAP-Vidベンチマークで評価を行う。 その結果,提案手法は点追跡精度を高いマージンで向上させ,最先端の専用点追跡ソリューションと同等に動作することを示した。

関連論文リスト

• DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
  本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-20T13:01:16Z)
• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• Tracking Everything Everywhere All at Once [111.00807055441028]
  ビデオシーケンスから高密度及び長距離運動を推定するための新しいテスト時間最適化法を提案する。 我々はOmniMotionと呼ばれる完全で一貫した動作表現を提案する。 提案手法は,従来の最先端手法よりも定量的にも定性的にも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2023-06-08T17:59:29Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• Visual Odometry with an Event Camera Using Continuous Ray Warping and Volumetric Contrast Maximization [31.627936023222052]
  イベントカメラによるトラッキングとマッピングのための新しいソリューションを提案する。 カメラの動きは回転と変換の両方を含み、変位は任意に構造化された環境で起こる。 コントラストを3Dで実現することで,この問題に対する新たな解決法を提案する。 車両搭載イベントカメラによるAGV運動推定と3次元再構成への応用により,本手法の実用的妥当性が裏付けられる。
  論文  参考訳（メタデータ） (2021-07-07T04:32:57Z)
• Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
  本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。 本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T04:20:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。