論文の概要: CoTracker3: Simpler and Better Point Tracking by Pseudo-Labelling Real Videos

• arxiv url: http://arxiv.org/abs/2410.11831v1
• Date: Tue, 15 Oct 2024 17:56:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:00.713741
• Title: CoTracker3: Simpler and Better Point Tracking by Pseudo-Labelling Real Videos
• Title（参考訳）: CoTracker3:Pseudo-Labelling Real Videoによるよりシンプルでより良いポイントトラッキング
• Authors: Nikita Karaev, Iurii Makarov, Jianyuan Wang, Natalia Neverova, Andrea Vedaldi, Christian Rupprecht,
• Abstract要約: 我々はCoTracker3を導入し、新しい追跡モデルと半教師付きトレーニングレシピを新たに導入する。 これにより、トレーニング中にアノテーションを使わずに実際のビデオが使えるようになり、既成の教師を使って擬似ラベルを生成することができる。 モデルはオンライン版とオフライン版で利用可能で、視界や無視された点を確実に追跡できる。
• 参考スコア（独自算出の注目度）: 63.90674869153876
• License:
• Abstract: Most state-of-the-art point trackers are trained on synthetic data due to the difficulty of annotating real videos for this task. However, this can result in suboptimal performance due to the statistical gap between synthetic and real videos. In order to understand these issues better, we introduce CoTracker3, comprising a new tracking model and a new semi-supervised training recipe. This allows real videos without annotations to be used during training by generating pseudo-labels using off-the-shelf teachers. The new model eliminates or simplifies components from previous trackers, resulting in a simpler and often smaller architecture. This training scheme is much simpler than prior work and achieves better results using 1,000 times less data. We further study the scaling behaviour to understand the impact of using more real unsupervised data in point tracking. The model is available in online and offline variants and reliably tracks visible and occluded points.
• Abstract（参考訳）: ほとんどの最先端のポイントトラッカーは、このタスクのために実際のビデオに注釈をつけるのが難しいため、合成データに基づいて訓練されている。 しかし、これは合成ビデオと実ビデオの統計的ギャップによる準最適性能をもたらす可能性がある。 これらの問題をよりよく理解するために,我々はCoTracker3を紹介した。 これにより、トレーニング中にアノテーションを使わずに実際のビデオが使えるようになり、既成の教師を使って擬似ラベルを生成することができる。 新しいモデルは、以前のトラッカーからコンポーネントを排除または単純化し、よりシンプルでより小さなアーキテクチャをもたらす。 このトレーニングスキームは以前の作業よりもはるかにシンプルで、1000倍の少ないデータでより良い結果が得られる。 さらに、ポイントトラッキングにおいて、よりリアルな教師なしデータを使用することによる影響を理解するために、スケーリングの振る舞いについて研究する。 モデルはオンライン版とオフライン版で利用可能で、視界や無視された点を確実に追跡できる。

関連論文リスト

• Refining Pre-Trained Motion Models [56.18044168821188]
  我々は、自己教師付きトレーニングによる最先端の教師付きモデルの改善に挑戦する。 実世界の未学習ビデオから「クリーン」な訓練信号を得ることに重点を置いている。 本研究では,本手法が実動画における完全教師付き手法よりも信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2024-01-01T18:59:33Z)
• TAP-Vid: A Benchmark for Tracking Any Point in a Video [84.94877216665793]
  我々は、より長いビデオクリップで表面上の任意の物理点を追跡するという問題を定式化し、任意の点(TAP)を追尾する。 そこで本研究では,実世界の映像に正確な点線アノテーションを付加したTAP-Vidと,完全な接地木線トラックを付加した合成ビデオとを併用したベンチマーク,TAP-Vidを提案する。 本稿では, 簡易な終端点追跡モデルTAP-Netを提案する。
  論文  参考訳（メタデータ） (2022-11-07T17:57:02Z)
• TDT: Teaching Detectors to Track without Fully Annotated Videos [2.8292841621378844]
  検知と外観の埋め込みの両方を予測するワンステージトラッカーは、多くの注目を集めた。 提案した1段階のソリューションは,2段階のソリューションと品質が一致するが,3倍高速である。
  論文  参考訳（メタデータ） (2022-05-11T15:56:17Z)
• Learning to Track Objects from Unlabeled Videos [63.149201681380305]
  本稿では,Unsupervised Single Object Tracker (USOT) をスクラッチから学習することを提案する。 教師なしトラッカーと教師なしトラッカーのギャップを狭めるために,3段階からなる効果的な教師なし学習手法を提案する。 実験の結果、未ラベルのビデオから得られたUSOTは、最先端の教師なしトラッカーよりも大きなマージンでうまく機能していることがわかった。
  論文  参考訳（メタデータ） (2021-08-28T22:10:06Z)
• Multi-Object Tracking with Hallucinated and Unlabeled Videos [34.38275236770619]
  アノテーションをトラッキングする代わりに、ズームイン/アウト動作変換を用いて、バウンディングボックスアノテーションでビデオを幻覚化する。 それから私たちは、幻覚したビデオデータに基づいてトレーニングされたトラッカーを使って、ラベルのない実際のビデオのプールにハードサンプルを掘り下げました。 弱教師付きトラッカーはMOT17およびTAO個人データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-08-19T17:57:29Z)
• Unsupervised Deep Representation Learning for Real-Time Tracking [137.69689503237893]
  視覚追跡のための教師なし学習手法を提案する。 教師なし学習の動機は、ロバストなトラッカーが双方向トラッキングに有効であるべきだということです。 我々は,シームズ相関フィルタネットワーク上にフレームワークを構築し,教師なし学習を容易にするために,多フレーム検証方式とコスト感受性損失を提案する。
  論文  参考訳（メタデータ） (2020-07-22T08:23:12Z)
• Dense Regression Network for Video Grounding [97.57178850020327]
  地上の真理の中のフレームと開始(終了)フレームの間の距離を高密度の監督として利用し、映像のグラウンド化精度を向上させる。 具体的には、各フレームからビデオセグメントの開始(終了)フレームまでの距離を抑えるために、新しい高密度回帰ネットワーク(DRN)を設計する。 また,グラウンドリング結果の局所化品質を明示的に考慮するために,単純だが効果的なIoU回帰ヘッドモジュールを提案する。
  論文  参考訳（メタデータ） (2020-04-07T17:15:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。