論文の概要: Long-Term 3D Point Tracking By Cost Volume Fusion

• arxiv url: http://arxiv.org/abs/2407.13337v1
• Date: Thu, 18 Jul 2024 09:34:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 15:50:32.235588
• Title: Long-Term 3D Point Tracking By Cost Volume Fusion
• Title（参考訳）: コスト・ボリューム・フュージョンによる長期3次元点追跡
• Authors: Hung Nguyen, Chanho Kim, Rigved Naukarkar, Li Fuxin,
• Abstract要約: テストタイムの微調整を必要とせず,新たなポイントやビデオに一般化する3Dの長期追跡のための,最初のディープラーニングフレームワークを提案する。 モデルでは,複数過去の外観と動き情報をトランスフォーマーアーキテクチャで統合し,全体的なトラッキング性能を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 2.3411633024711573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-term point tracking is essential to understand non-rigid motion in the physical world better. Deep learning approaches have recently been incorporated into long-term point tracking, but most prior work predominantly functions in 2D. Although these methods benefit from the well-established backbones and matching frameworks, the motions they produce do not always make sense in the 3D physical world. In this paper, we propose the first deep learning framework for long-term point tracking in 3D that generalizes to new points and videos without requiring test-time fine-tuning. Our model contains a cost volume fusion module that effectively integrates multiple past appearances and motion information via a transformer architecture, significantly enhancing overall tracking performance. In terms of 3D tracking performance, our model significantly outperforms simple scene flow chaining and previous 2D point tracking methods, even if one uses ground truth depth and camera pose to backproject 2D point tracks in a synthetic scenario.
• Abstract（参考訳）: 物理的世界の非剛体運動をよりよく理解するためには、長期の点追跡が不可欠である。 ディープラーニングのアプローチは、最近長期的ポイントトラッキングに取り入れられているが、ほとんどの以前の作業は主に2Dで機能する。 これらの手法は、確立されたバックボーンとマッチングフレームワークの恩恵を受けるが、それらが生み出す動きは、必ずしも3D物理世界において意味のあるものではない。 本稿では,テストタイムの微調整を必要とせず,新たなポイントやビデオに一般化した3次元の長期点追跡のための最初のディープラーニングフレームワークを提案する。 本モデルでは,複数過去の外観と動き情報をトランスフォーマーアーキテクチャで効果的に統合し,全体のトラッキング性能を大幅に向上するコスト容積融合モジュールを備える。 3Dトラッキング性能は, 合成シナリオにおいて, 地上の真相深度とカメラがバックプロジェクト2Dポイントトラックに作用する場合でも, 単純なシーンフローチェインや, 従来の2Dポイントトラッキング手法よりも有意に優れる。

関連論文リスト

• TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
  我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。 このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
  論文  参考訳（メタデータ） (2024-07-08T13:28:47Z)
• Fast Encoder-Based 3D from Casual Videos via Point Track Processing [22.563073026889324]
  そこで我々は,カジュアルビデオから3D構造とカメラの位置を動的コンテンツから推定できる学習ベースのTracksTo4Dを提案する。 TracksTo4Dは、カジュアルなビデオのデータセットに基づいて教師なしの方法で訓練される。 実験により、TracksTo4Dは、最先端の手法に匹敵する精度で、基礎となるビデオの時間点雲とカメラの位置を再構築できることが示された。
  論文  参考訳（メタデータ） (2024-04-10T15:37:00Z)
• SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
  本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。 この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。 3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
  論文  参考訳（メタデータ） (2024-04-05T17:59:25Z)
• Tracking by 3D Model Estimation of Unknown Objects in Videos [122.56499878291916]
  この表現は限定的であり、代わりに明示的なオブジェクト表現を用いて2次元追跡をガイドし改善することを提案する。 我々の表現は、全てのビデオフレームのオブジェクト上の全ての3Dポイント間の複雑な長期密度対応問題に取り組む。 提案手法は, 最適3次元形状, テクスチャ, 6DoFのポーズを推定するために, 新たな損失関数を最小化する。
  論文  参考訳（メタデータ） (2023-04-13T11:32:36Z)
• TAP-Vid: A Benchmark for Tracking Any Point in a Video [84.94877216665793]
  我々は、より長いビデオクリップで表面上の任意の物理点を追跡するという問題を定式化し、任意の点(TAP)を追尾する。 そこで本研究では,実世界の映像に正確な点線アノテーションを付加したTAP-Vidと,完全な接地木線トラックを付加した合成ビデオとを併用したベンチマーク,TAP-Vidを提案する。 本稿では, 簡易な終端点追跡モデルTAP-Netを提案する。
  論文  参考訳（メタデータ） (2022-11-07T17:57:02Z)
• SpOT: Spatiotemporal Modeling for 3D Object Tracking [68.12017780034044]
  3Dマルチオブジェクトトラッキングは、常にすべてのモバイル時間を特定することを目的としている。 現在の3Dトラッキング手法は、抽象化された情報と限られた歴史に依存している。 本研究では,空間的情報と時間的情報の両方を活用するシーンの全体的表現を開発する。
  論文  参考訳（メタデータ） (2022-07-12T21:45:49Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)
• Tracking from Patterns: Learning Corresponding Patterns in Point Clouds for 3D Object Tracking [34.40019455462043]
  本稿では,時間点雲データから3次元オブジェクト対応を学習し,対応パターンから動き情報を推測する。 提案手法は,KITTIと大規模Nuscenesデータセットの双方において,既存の3次元追跡手法を超えている。
  論文  参考訳（メタデータ） (2020-10-20T06:07:20Z)
• DeepTracking-Net: 3D Tracking with Unsupervised Learning of Continuous Flow [12.690471276907445]
  本論文は3次元追跡の問題,すなわち時間変化の連続した3次元形状における密度の高い対応を見つけることを扱う。 本稿では、ディープニューラルネットワーク(DNN)を補助機能として利用するDeepTracking-Netという、教師なし3次元形状のフレームワークを提案する。 さらに,SynMotionsと呼ばれる新しい合成3Dデータを3D追跡・認識コミュニティに準備する。
  論文  参考訳（メタデータ） (2020-06-24T16:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。