論文の概要: CoTracker: It is Better to Track Together

• arxiv url: http://arxiv.org/abs/2307.07635v3
• Date: Tue, 01 Oct 2024 13:15:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:32:47.025958
• Title: CoTracker: It is Better to Track Together
• Title（参考訳）: CoTracker: 一緒に追跡する方がよい
• Authors: Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia Neverova, Andrea Vedaldi, Christian Rupprecht,
• Abstract要約: CoTrackerは、長いビデオシーケンスで多数の2Dポイントを追跡するトランスフォーマーベースのモデルである。 関節トラッキングはトラッキング精度とロバスト性を大幅に改善し、CoTrackerはカメラビューの外側に隠された点や点を追跡することができる。
• 参考スコア（独自算出の注目度）: 70.63040730154984
• License:
• Abstract: We introduce CoTracker, a transformer-based model that tracks a large number of 2D points in long video sequences. Differently from most existing approaches that track points independently, CoTracker tracks them jointly, accounting for their dependencies. We show that joint tracking significantly improves tracking accuracy and robustness, and allows CoTracker to track occluded points and points outside of the camera view. We also introduce several innovations for this class of trackers, including using token proxies that significantly improve memory efficiency and allow CoTracker to track 70k points jointly and simultaneously at inference on a single GPU. CoTracker is an online algorithm that operates causally on short windows. However, it is trained utilizing unrolled windows as a recurrent network, maintaining tracks for long periods of time even when points are occluded or leave the field of view. Quantitatively, CoTracker substantially outperforms prior trackers on standard point-tracking benchmarks.
• Abstract（参考訳）: 長いビデオシーケンスで多数の2Dポイントを追跡するトランスフォーマーベースのモデルであるCoTrackerを紹介する。 独立してポイントを追跡する既存のアプローチとは異なり、CoTrackerはそれらを共同で追跡し、依存関係を考慮に入れている。 関節トラッキングはトラッキング精度とロバスト性を大幅に改善し、CoTrackerはカメラビューの外側に隠された点や点を追跡することができる。 我々はまた、メモリ効率を大幅に改善し、CoTrackerが1つのGPUで推論時に70kポイントを同時かつ同時に追跡できるようにするトークンプロキシの使用など、このクラスのトラッカーにいくつかの革新を導入する。 CoTrackerはショートウィンドウ上で因果的に動作するオンラインアルゴリズムである。 しかし、未ロールウィンドウをリカレントネットワークとして活用し、ポイントを外したり視野を離れたりしても、長い時間トラックを維持できる。 定量的には、CoTrackerは標準の点追跡ベンチマークで先行トラッカーを大幅に上回っている。

関連論文リスト

• Temporal Correlation Meets Embedding: Towards a 2nd Generation of JDE-based Real-Time Multi-Object Tracking [52.04679257903805]
  共同検出・埋め込み(JDE)トラッカーは多目的追跡(MOT)タスクにおいて優れた性能を示した。 TCBTrackという名前のトラッカーは、複数の公開ベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-07-19T07:48:45Z)
• OneTracker: Unifying Visual Object Tracking with Foundation Models and Efficient Tuning [33.521077115333696]
  我々は、OneTrackerと呼ばれる様々なトラッキングタスクを統合するための一般的なフレームワークを提案する。 OneTrackerは最初に、Foundation Trackerと呼ばれるRGBトラッカーで大規模な事前トレーニングを行う。 次に、他のモダリティ情報をプロンプトとみなし、Foundation Tracker上にPrompt Trackerを構築する。
  論文  参考訳（メタデータ） (2024-03-14T17:59:13Z)
• SeqTrack3D: Exploring Sequence Information for Robust 3D Point Cloud Tracking [26.405519771454102]
  本稿では,SeqTrack3DというトラッカーとSequence-to-Sequenceトラッキングパラダイムを導入し,連続フレーム間の目標運動をキャプチャする。 本手法は, 重要点の少ないシーンにおいても, 歴史的ボックスからの位置情報を有効活用することにより, ロバストなトラッキングを実現する。 大規模なデータセットで実施された実験は、SeqTrack3Dが新しい最先端のパフォーマンスを実現することを示している。
  論文  参考訳（メタデータ） (2024-02-26T02:14:54Z)
• Tracking with Human-Intent Reasoning [64.69229729784008]
  この作業では、新しいトラッキングタスクであるインストラクショントラッキングを提案している。 ビデオフレーム内で自動的にトラッキングを実行するようにトラッカーに要求する暗黙の追跡命令を提供する。 TrackGPTは複雑な推論ベースの追跡を行うことができる。
  論文  参考訳（メタデータ） (2023-12-29T03:22:18Z)
• DriveTrack: A Benchmark for Long-Range Point Tracking in Real-World Videos [9.304179915575114]
  DriveTrackは、現実世界のビデオのキーポイントトラッキングのための新しいベンチマークとデータ生成フレームワークである。 24時間のビデオにまたがる10億のトラックからなるデータセットをリリースします。 DriveTrackの微調整キーポイントトラッカーは、現実世界のシーンの精度を最大7%向上させる。
  論文  参考訳（メタデータ） (2023-12-15T04:06:52Z)
• TopTrack: Tracking Objects By Their Top [13.020122353444497]
  TopTrackは、オブジェクトの上部を中心ではなくキーポイントとして使用する、共同検出と追跡の手法である。 我々は,検出のキーポイントとしてオブジェクトトップを使用することで,検出ミスの量を削減できることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-04-12T19:00:12Z)
• Tracking by Associating Clips [110.08925274049409]
  本稿では,オブジェクト関連をクリップワイドマッチングとして扱う方法を検討する。 我々の新しい視点では、1つの長いビデオシーケンスを複数のショートクリップとみなし、そのトラックはクリップ内とクリップ間の両方で実行される。 この新しい手法の利点は2つある。まず、ビデオチャンキングによって中断フレームをバイパスできるため、エラーの蓄積や伝播の追跡に頑健である。 次に、クリップワイドマッチング中に複数のフレーム情報を集約し、現在のフレームワイドマッチングよりも高精度な長距離トラックアソシエーションを実現する。
  論文  参考訳（メタデータ） (2022-12-20T10:33:17Z)
• Learning to Track Objects from Unlabeled Videos [63.149201681380305]
  本稿では,Unsupervised Single Object Tracker (USOT) をスクラッチから学習することを提案する。 教師なしトラッカーと教師なしトラッカーのギャップを狭めるために,3段階からなる効果的な教師なし学習手法を提案する。 実験の結果、未ラベルのビデオから得られたUSOTは、最先端の教師なしトラッカーよりも大きなマージンでうまく機能していることがわかった。
  論文  参考訳（メタデータ） (2021-08-28T22:10:06Z)
• LightTrack: Finding Lightweight Neural Networks for Object Tracking via One-Shot Architecture Search [104.84999119090887]
  ニューラルアーキテクチャサーチ(NAS)を用いて、より軽量で効率的なオブジェクトトラッカーを設計するLightTrackを提案する。 総合的な実験は、LightTrackが効果的であることを示している。 SiamRPN++やOceanといった手作りのSOTAトラッカーよりも優れたパフォーマンスを実現するトラッカーを見つけることができる。
  論文  参考訳（メタデータ） (2021-04-29T17:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。