論文の概要: Dense Optical Tracking: Connecting the Dots

• arxiv url: http://arxiv.org/abs/2312.00786v3
• Date: Mon, 4 Mar 2024 17:24:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 01:29:21.849234
• Title: Dense Optical Tracking: Connecting the Dots
• Title（参考訳）: 高密度光追跡:ドットをつなぐ
• Authors: Guillaume Le Moing, Jean Ponce, Cordelia Schmid
• Abstract要約: DOTは、ビデオにおけるポイントトラッキングの問題を解決するための、新しくてシンプルで効率的な方法である。 OmniMotionのような高度な"ユニバーサルトラッカー"を上回り、CoTrackerのような最良のポイントトラッキングアルゴリズムと同等か、あるいはそれ以上の精度で、DOTが現在の光フロー技術よりもはるかに正確であることを示す。
• 参考スコア（独自算出の注目度）: 82.79642869586587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent approaches to point tracking are able to recover the trajectory of any scene point through a large portion of a video despite the presence of occlusions. They are, however, too slow in practice to track every point observed in a single frame in a reasonable amount of time. This paper introduces DOT, a novel, simple and efficient method for solving this problem. It first extracts a small set of tracks from key regions at motion boundaries using an off-the-shelf point tracking algorithm. Given source and target frames, DOT then computes rough initial estimates of a dense flow field and visibility mask through nearest-neighbor interpolation, before refining them using a learnable optical flow estimator that explicitly handles occlusions and can be trained on synthetic data with ground-truth correspondences. We show that DOT is significantly more accurate than current optical flow techniques, outperforms sophisticated "universal" trackers like OmniMotion, and is on par with, or better than, the best point tracking algorithms like CoTracker while being at least two orders of magnitude faster. Quantitative and qualitative experiments with synthetic and real videos validate the promise of the proposed approach. Code, data, and videos showcasing the capabilities of our approach are available in the project webpage: https://16lemoing.github.io/dot .
• Abstract（参考訳）: 近年のポイントトラッキング手法では,映像のかなりの部分を通して任意のシーンポイントの軌跡を再現することが可能である。 しかし、単一のフレームで観測されるすべてのポイントを妥当な時間内に追跡するには、実際には遅すぎる。 本稿では,この問題を解決する新しい,シンプルかつ効率的な方法であるDOTを紹介する。 まず、オフザシェルフ点追跡アルゴリズムを用いて、動き境界のキー領域からトラックの小さなセットを抽出する。 ソースフレームとターゲットフレームが与えられた後、DOTは隣り合う補間を通して密集した流れ場と可視性マスクの粗い初期推定を計算し、学習可能な光学フロー推定器を用いてそれらを精算し、オクルージョンを明示的に処理し、接地構造対応による合成データに基づいて訓練する。 我々は、DOTが現在の光学フロー技術よりもはるかに正確であることを示し、OmniMotionのような洗練された"ユニバーサル"トラッカーよりも優れており、CoTrackerのような最良の点追跡アルゴリズムと同等か、あるいは同等であることを示した。 合成および実ビデオによる定量的および定性的な実験は、提案手法の可能性を実証する。 私たちのアプローチの機能を示すコード、データ、ビデオは、プロジェクトwebページ(https://16lemoing.github.io/dot.com/)で利用可能です。

関連論文リスト

• SparseTrack: Multi-Object Tracking by Performing Scene Decomposition based on Pseudo-Depth [84.64121608109087]
  2次元画像から目標の相対的な深さを求めるための擬似深度推定法を提案する。 次に,得られた深度情報を用いて,高密度なターゲットセットを複数のスパースなターゲットサブセットに変換するディープカスケードマッチング(DCM)アルゴリズムを設計する。 擬似深度法とDCM戦略をデータアソシエーションプロセスに統合することにより、SparseTrackと呼ばれる新しいトラッカーを提案する。
  論文  参考訳（メタデータ） (2023-06-08T14:36:10Z)
• TAP-Vid: A Benchmark for Tracking Any Point in a Video [84.94877216665793]
  我々は、より長いビデオクリップで表面上の任意の物理点を追跡するという問題を定式化し、任意の点(TAP)を追尾する。 そこで本研究では,実世界の映像に正確な点線アノテーションを付加したTAP-Vidと,完全な接地木線トラックを付加した合成ビデオとを併用したベンチマーク,TAP-Vidを提案する。 本稿では, 簡易な終端点追跡モデルTAP-Netを提案する。
  論文  参考訳（メタデータ） (2022-11-07T17:57:02Z)
• Particle Videos Revisited: Tracking Through Occlusions Using Point Trajectories [29.258861811749103]
  我々はSandとTellerの"パーティクルビデオ"アプローチを再検討し、長距離モーション推定問題としてピクセル追跡について検討する。 私たちはこの古典的なアプローチを、現在の最先端のフローとオブジェクトトラッキングを駆動するコンポーネントを使って再構築します。 既存の光学フローデータセットから抽出した長距離アモーダル点軌道を用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2022-04-08T16:05:48Z)
• SDOF-Tracker: Fast and Accurate Multiple Human Tracking by Skipped-Detection and Optical-Flow [5.041369269600902]
  本研究では,あるフレーム間隔で人間検出を行うことにより,走行速度の向上を図ることを目的とする。 本稿では, 隣接フレーム間の外観があまり変化しないという事実に基づいて, 検出結果を光学的流れで補完する手法を提案する。 MOTChallengeのMOT20データセットでは、提案されたSDOF-Trackerが全走行速度で最高の性能を達成した。
  論文  参考訳（メタデータ） (2021-06-27T15:35:35Z)
• Learning Spatio-Temporal Transformer for Visual Tracking [108.11680070733598]
  本稿では,エンコーダ・デコーダ変換器をキーコンポーネントとする新しいトラッキングアーキテクチャを提案する。 メソッド全体がエンドツーエンドであり、コサインウィンドウやバウンディングボックススムーシングのような後処理ステップは不要である。 提案されたトラッカーは、Siam R-CNNよりも6倍速いリアルタイム速度を実行しながら、5つのチャレンジングな短期および長期ベンチマークで最先端のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-03-31T15:19:19Z)
• Learning to Track with Object Permanence [61.36492084090744]
  共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。 私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
  論文  参考訳（メタデータ） (2021-03-26T04:43:04Z)
• SFTrack++: A Fast Learnable Spectral Segmentation Approach for Space-Time Consistent Tracking [6.294759639481189]
  本研究では,空間と時間次元にまたがるオブジェクトの一貫性を学習するオブジェクト追跡手法であるSFTrack++を提案する。 我々は,OTB,UAV,NFS,GOT-10k,TrackingNetの5つのトラッキングベンチマーク上で,トップトラッカーを入力としてテストした。
  論文  参考訳（メタデータ） (2020-11-27T17:15:20Z)
• Tracking-by-Counting: Using Network Flows on Crowd Density Maps for Tracking Multiple Targets [96.98888948518815]
  State-of-the-art multi-object tracking(MOT)法は、トラッキング・バイ・検出のパラダイムに従っている。 混み合ったシーンに適したMOTパラダイムであるトラッキング・バイ・カウントを提案する。
  論文  参考訳（メタデータ） (2020-07-18T19:51:53Z)
• RetinaTrack: Online Single Stage Joint Detection and Tracking [22.351109024452462]
  両タスクがミッションクリティカルな自律運転におけるトラッキング・バイ・検出パラダイムに注目した。 本稿では、一般的な単一ステージのRetinaNetアプローチを改良したRetinaTrackと呼ばれる、概念的にシンプルで効率的な検出と追跡のジョイントモデルを提案する。
  論文  参考訳（メタデータ） (2020-03-30T23:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。