論文の概要: TAPIR: Tracking Any Point with per-frame Initialization and temporal Refinement

• arxiv url: http://arxiv.org/abs/2306.08637v1
• Date: Wed, 14 Jun 2023 17:07:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 17:58:36.386453
• Title: TAPIR: Tracking Any Point with per-frame Initialization and temporal Refinement
• Title（参考訳）: TAPIR: フレーム単位の初期化と時間的リファインメントによる任意のポイントの追跡
• Authors: Carl Doersch, Yi Yang, Mel Vecerik, Dilara Gokay, Ankush Gupta, Yusuf Aytar, Joao Carreira, Andrew Zisserman
• Abstract要約: 本稿では,ビデオシーケンスを通して任意の物理面上の問合せ点を効果的に追跡する,TAP(Tracking Any Point)の新しいモデルを提案する。 提案手法では,(1)他のフレームの問合せ点に対する適切な候補点マッチングを独立に特定するマッチング段階と,(2)局所的相関に基づいてトラジェクトリと問合せの両方を更新する改良段階の2段階を用いる。 結果として得られたモデルは、DAVISにおける平均約20%の絶対平均ジャカード(AJ)改善によって示されるように、TAP-Vidベンチマークにおける大きなマージンで、すべてのベースライン手法を上回ります。
• 参考スコア（独自算出の注目度）: 86.75905182331826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel model for Tracking Any Point (TAP) that effectively tracks any queried point on any physical surface throughout a video sequence. Our approach employs two stages: (1) a matching stage, which independently locates a suitable candidate point match for the query point on every other frame, and (2) a refinement stage, which updates both the trajectory and query features based on local correlations. The resulting model surpasses all baseline methods by a significant margin on the TAP-Vid benchmark, as demonstrated by an approximate 20% absolute average Jaccard (AJ) improvement on DAVIS. Our model facilitates fast inference on long and high-resolution video sequences. On a modern GPU, our implementation has the capacity to track points faster than real-time. Visualizations, source code, and pretrained models can be found on our project webpage.
• Abstract（参考訳）: 本稿では,ビデオシーケンスを通して任意の物理面上の問合せ点を効果的に追跡する,TAP(Tracking Any Point)の新しいモデルを提案する。 提案手法では,(1)他の各フレームのクエリ点に対する適切な候補点マッチングを独立に求めるマッチングステージ,(2)局所相関に基づいて軌跡と問合せ特徴の両方を更新するリファインメントステージの2つのステージを用いる。 結果として得られたモデルは、DAVISにおける平均約20%の絶対平均ジャカード(AJ)改善によって示されるように、TAP-Vidベンチマークにおける大きなマージンで、すべてのベースライン手法を上回ります。 本モデルは,長大かつ高精細な映像系列の高速推論を容易にする。 現代のGPUでは、我々の実装はリアルタイムよりも高速にポイントを追跡する能力を持っている。 視覚化、ソースコード、事前訓練されたモデルは、プロジェクトのWebページにある。

関連論文リスト

• Practical Video Object Detection via Feature Selection and Aggregation [18.15061460125668]
  ビデオオブジェクト検出(VOD)は、オブジェクトの外観における高いフレーム間変動と、いくつかのフレームにおける多様な劣化を懸念する必要がある。 現代のアグリゲーション法のほとんどは、高い計算コストに苦しむ2段階検出器用に調整されている。 この研究は、特徴選択と集約の非常に単純だが強力な戦略を考案し、限界計算コストでかなりの精度を得る。
  論文  参考訳（メタデータ） (2024-07-29T02:12:11Z)
• PointOdyssey: A Large-Scale Synthetic Dataset for Long-Term Point Tracking [90.29143475328506]
  本稿では,大規模合成データセットとデータ生成フレームワークであるPointOdysseyを紹介する。 私たちのゴールは、自然主義的な動きを持つ長いビデオに重点を置いて、最先端の技術を推し進めることです。 実世界のモーションキャプチャーデータを用いて変形可能なキャラクタをアニメーション化し、モーションキャプチャー環境に合わせて3Dシーンを構築し、リアルビデオ上で構造から抽出したトラジェクトリを用いてカメラ視点を描画する。
  論文  参考訳（メタデータ） (2023-07-27T17:58:11Z)
• A Fast and Map-Free Model for Trajectory Prediction in Traffics [2.435517936694533]
  本稿では,交通地図に依存しない効率的な軌道予測モデルを提案する。 注意機構、LSTM、グラフ畳み込みネットワーク、時間変換器を包括的に活用することにより、我々のモデルは全てのエージェントのリッチな動的および相互作用情報を学習することができる。 提案モデルでは,既存のマップフリー手法と比較して高い性能を達成し,Argoverseデータセット上のほとんどのマップベース最先端手法を超越する。
  論文  参考訳（メタデータ） (2023-07-19T08:36:31Z)
• TAP-Vid: A Benchmark for Tracking Any Point in a Video [84.94877216665793]
  我々は、より長いビデオクリップで表面上の任意の物理点を追跡するという問題を定式化し、任意の点(TAP)を追尾する。 そこで本研究では,実世界の映像に正確な点線アノテーションを付加したTAP-Vidと,完全な接地木線トラックを付加した合成ビデオとを併用したベンチマーク,TAP-Vidを提案する。 本稿では, 簡易な終端点追跡モデルTAP-Netを提案する。
  論文  参考訳（メタデータ） (2022-11-07T17:57:02Z)
• Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework [76.70603443624012]
  特徴学習と関係モデリングを統合した新しい一ストリーム追跡(OSTrack)フレームワークを提案する。 このようにして、相互誘導により識別的目標指向特徴を動的に抽出することができる。 OSTrackは、複数のベンチマークで最先端のパフォーマンスを実現しており、特に、ワンショットトラッキングベンチマークのGOT-10kでは印象的な結果を示している。
  論文  参考訳（メタデータ） (2022-03-22T18:37:11Z)
• Learning to Associate Every Segment for Video Panoptic Segmentation [123.03617367709303]
  粗いセグメントレベルのマッチングと細かなピクセルレベルのマッチングを同時に学習する。 本研究では,Cityscapes-VPSおよびVIPERデータセット上で,フレーム単位の計算モデルにより,最先端の計算結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-17T13:06:24Z)
• Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching [67.02962970820505]
  ビデオオブジェクト(VOS)に「トラッキング・バイ・検出」を導入する。 本稿では,時間的アグリゲーションネットワークと動的時間進化テンプレートマッチング機構を提案する。 我々は,DAVISベンチマークで1フレームあたり0.14秒,J&Fで75.9%の速度で,複雑なベルとホイッスルを伴わずに,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-11T05:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。