論文の概要: CoTracker: It is Better to Track Together
- arxiv url: http://arxiv.org/abs/2307.07635v1
- Date: Fri, 14 Jul 2023 21:13:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 18:57:53.765445
- Title: CoTracker: It is Better to Track Together
- Title(参考訳): CoTracker: 一緒に追跡する方がよい
- Authors: Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia Neverova,
Andrea Vedaldi, Christian Rupprecht
- Abstract要約: 動画の動き予測法は、映像フレーム内のすべての点の瞬間的な動きを光学的フローを用いて共同で推定するか、動画全体の個々の点の動きを独立に追跡する。
ビデオ全体を通して複数のポイントを共同で追跡するアーキテクチャであるCoTrackerを提案する。
このアーキテクチャは、光学フローからのいくつかのアイデアと、新しいフレキシブルで強力な設計における文学の追跡を組み合わせたものである。
- 参考スコア(独自算出の注目度): 91.1804971397608
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Methods for video motion prediction either estimate jointly the instantaneous
motion of all points in a given video frame using optical flow or independently
track the motion of individual points throughout the video. The latter is true
even for powerful deep-learning methods that can track points through
occlusions. Tracking points individually ignores the strong correlation that
can exist between the points, for instance, because they belong to the same
physical object, potentially harming performance. In this paper, we thus
propose CoTracker, an architecture that jointly tracks multiple points
throughout an entire video. This architecture combines several ideas from the
optical flow and tracking literature in a new, flexible and powerful design. It
is based on a transformer network that models the correlation of different
points in time via specialised attention layers. The transformer iteratively
updates an estimate of several trajectories. It can be applied in a
sliding-window manner to very long videos, for which we engineer an unrolled
training loop. It can track from one to several points jointly and supports
adding new points to track at any time. The result is a flexible and powerful
tracking algorithm that outperforms state-of-the-art methods in almost all
benchmarks.
- Abstract(参考訳): 動画の動き予測法は、映像フレーム内のすべての点の瞬間的な動きを光学的フローを用いて共同で推定するか、動画全体の個々の点の動きを独立に追跡する。
後者は、オクルージョンを通じてポイントを追跡できる強力なディープラーニング手法でも当てはまる。
トラッキングポイントは、例えば、同じ物理的オブジェクトに属し、パフォーマンスを害する可能性があるため、ポイントの間に存在する強い相関を個別に無視する。
そこで本稿では,ビデオ全体を通して複数のポイントを協調的に追跡するcotrackerを提案する。
このアーキテクチャは、新しい柔軟で強力な設計で、光学フローと追跡文学からいくつかのアイデアを組み合わせる。
これは特別な注意層を通して時間内の異なる点の相関をモデル化するトランスネットワークに基づいている。
変換器は、複数の軌道の推定を反復的に更新する。
これは非常に長いビデオにスライディングウィンドウ方式で適用できます。
同時に1点から数点まで追跡でき、いつでも新しいポイントを追加できる。
その結果、ほぼすべてのベンチマークで最先端の手法を上回る、柔軟で強力な追跡アルゴリズムが得られた。
関連論文リスト
- OneTracker: Unifying Visual Object Tracking with Foundation Models and Efficient Tuning [33.521077115333696]
我々は、OneTrackerと呼ばれる様々なトラッキングタスクを統合するための一般的なフレームワークを提案する。
OneTrackerは最初に、Foundation Trackerと呼ばれるRGBトラッカーで大規模な事前トレーニングを行う。
次に、他のモダリティ情報をプロンプトとみなし、Foundation Tracker上にPrompt Trackerを構築する。
論文 参考訳(メタデータ) (2024-03-14T17:59:13Z) - Tracking with Human-Intent Reasoning [64.69229729784008]
この作業では、新しいトラッキングタスクであるインストラクショントラッキングを提案している。
ビデオフレーム内で自動的にトラッキングを実行するようにトラッカーに要求する暗黙の追跡命令を提供する。
TrackGPTは複雑な推論ベースの追跡を行うことができる。
論文 参考訳(メタデータ) (2023-12-29T03:22:18Z) - DriveTrack: A Benchmark for Long-Range Point Tracking in Real-World
Videos [9.304179915575114]
DriveTrackは、現実世界のビデオのキーポイントトラッキングのための新しいベンチマークとデータ生成フレームワークである。
24時間のビデオにまたがる10億のトラックからなるデータセットをリリースします。
DriveTrackの微調整キーポイントトラッカーは、現実世界のシーンの精度を最大7%向上させる。
論文 参考訳(メタデータ) (2023-12-15T04:06:52Z) - Collaborative Tracking Learning for Frame-Rate-Insensitive Multi-Object
Tracking [3.781471919731034]
低フレームレートのマルチオブジェクトトラッキング(MOT)は、エッジデバイスの制約を満たすために、計算、ストレージ、電力オーバーヘッドを削減できる。
本稿では,コラボレーティブ・トラッキング・ラーニング(ColTrack)によるフレームレート非感性MOTを,問合せに基づくエンドツーエンドで探索することを提案する。
論文 参考訳(メタデータ) (2023-08-11T02:25:58Z) - Tracking by Associating Clips [110.08925274049409]
本稿では,オブジェクト関連をクリップワイドマッチングとして扱う方法を検討する。
我々の新しい視点では、1つの長いビデオシーケンスを複数のショートクリップとみなし、そのトラックはクリップ内とクリップ間の両方で実行される。
この新しい手法の利点は2つある。まず、ビデオチャンキングによって中断フレームをバイパスできるため、エラーの蓄積や伝播の追跡に頑健である。
次に、クリップワイドマッチング中に複数のフレーム情報を集約し、現在のフレームワイドマッチングよりも高精度な長距離トラックアソシエーションを実現する。
論文 参考訳(メタデータ) (2022-12-20T10:33:17Z) - CoCoLoT: Combining Complementary Trackers in Long-Term Visual Tracking [17.2557973738397]
本稿では,長期追跡性能を向上させるために,補完的な視覚トラッカーの特性を組み合わせたCoCoLoTというフレームワークを提案する。
CoCoLoTは、オンライン学習された深層検証モデルを通じて、トラッカーが対象オブジェクトをフォローしているかどうかを認識し、意思決定ポリシーを起動する。
提案手法は広範に評価され、他のいくつかのソリューションとの比較により、最も人気のある視覚的追跡ベンチマークにおいて最先端の手法と競合することが判明した。
論文 参考訳(メタデータ) (2022-05-09T13:25:13Z) - Real-time Online Multi-Object Tracking in Compressed Domain [66.40326768209]
近年,Multi-Object Tracking (MOT) 手法が望まれるトラッキング性能を実現している。
隣接するフレームが極めて関連性が高く冗長であるという事実に着想を得て、フレームをキーフレームと非キーフレームに分割する。
私たちのトラッカーは、同等のトラッカー性能を維持しながら、約6倍高速です。
論文 参考訳(メタデータ) (2022-04-05T09:47:24Z) - Learning to Track Objects from Unlabeled Videos [63.149201681380305]
本稿では,Unsupervised Single Object Tracker (USOT) をスクラッチから学習することを提案する。
教師なしトラッカーと教師なしトラッカーのギャップを狭めるために,3段階からなる効果的な教師なし学習手法を提案する。
実験の結果、未ラベルのビデオから得られたUSOTは、最先端の教師なしトラッカーよりも大きなマージンでうまく機能していることがわかった。
論文 参考訳(メタデータ) (2021-08-28T22:10:06Z) - High-Performance Long-Term Tracking with Meta-Updater [75.80564183653274]
短期的追跡よりも実用的に近いため、長期的視覚追跡が注目されている。
ほとんどのトップランクの長期トラッカーはオフラインでトレーニングされたSiameseアーキテクチャを採用しているため、オンライン更新による短期トラッカーの大きな進歩の恩恵を受けることはできない。
我々は、重要な問題に対処するために、オフラインでトレーニングされた新しいメタ更新器を提案する: トラッカーは、現在のフレームで更新する準備ができているか?
論文 参考訳(メタデータ) (2020-04-01T09:29:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。