論文の概要: EgoTracks: A Long-term Egocentric Visual Object Tracking Dataset
- arxiv url: http://arxiv.org/abs/2301.03213v2
- Date: Wed, 11 Jan 2023 01:30:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 14:17:58.982897
- Title: EgoTracks: A Long-term Egocentric Visual Object Tracking Dataset
- Title（参考訳）: EgoTracks: 長期的なエゴセントリックなビジュアルオブジェクト追跡データセット
- Authors: Hao Tang, Kevin Liang, Kristen Grauman, Matt Feiszli, Weiyao Wang
- Abstract要約: 身体追跡は多くの自我中心の視覚問題にとって重要な要素である。
EgoTracksは、長期的なエゴセントリックなビジュアルオブジェクトトラッキングのための新しいデータセットである。
本稿では,STARKトラッカーの性能向上を図り,エゴセントリックデータの性能向上を図っている。
- 参考スコア（独自算出の注目度）: 81.55268719272874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual object tracking is a key component to many egocentric vision problems.
However, the full spectrum of challenges of egocentric tracking faced by an
embodied AI is underrepresented in many existing datasets; these tend to focus
on relatively short, third-person videos. Egocentric video has several
distinguishing characteristics from those commonly found in past datasets:
frequent large camera motions and hand interactions with objects commonly lead
to occlusions or objects exiting the frame, and object appearance can change
rapidly due to widely different points of view, scale, or object states.
Embodied tracking is also naturally long-term, and being able to consistently
(re-)associate objects to their appearances and disappearances over as long as
a lifetime is critical. Previous datasets under-emphasize this re-detection
problem, and their "framed" nature has led to adoption of various
spatiotemporal priors that we find do not necessarily generalize to egocentric
video. We thus introduce EgoTracks, a new dataset for long-term egocentric
visual object tracking. Sourced from the Ego4D dataset, this new dataset
presents a significant challenge to recent state-of-the-art single-object
tracking models, which we find score poorly on traditional tracking metrics for
our new dataset, compared to popular benchmarks. We further show improvements
that can be made to a STARK tracker to significantly increase its performance
on egocentric data, resulting in a baseline model we call EgoSTARK. We publicly
release our annotations and benchmark, hoping our dataset leads to further
advancements in tracking.
- Abstract（参考訳）: 視覚オブジェクトのトラッキングは多くのエゴセントリックな視覚問題の主要なコンポーネントである。
しかし、具体化されたaiが直面するエゴセントリックなトラッキングの課題のスペクトルは、既存の多くのデータセットで過小評価されている。
エゴセントリックビデオは、過去のデータセットでよく見られるいくつかの特徴がある: しばしば大きなカメラの動きとオブジェクトとの手動相互作用は、一般的に、フレームから出る閉塞や物体につながり、オブジェクトの外観は、視野、スケール、またはオブジェクトの状態が広く異なるため、急速に変化する。
身体的なトラッキングも自然に長期的であり、寿命が重要である限り、オブジェクトの出現や消失に一貫して(再)関連付けることができる。
以前のデータセットは、この再検出問題を過度に強調しており、その「フレーム」の性質は、我々が必ずしも自我中心ビデオに一般化しない様々な時空間前置法の採用につながった。
EgoTracksは、長期的エゴセントリックなビジュアルオブジェクト追跡のための新しいデータセットである。
Ego4Dデータセットから引用したこの新しいデータセットは、最近の最先端の単一オブジェクト追跡モデルに重大な課題をもたらします。
我々はさらに、EgoSTARKと呼ばれるベースラインモデルにより、エゴセントリックなデータの性能を大幅に向上させるためにSTARKトラッカーにできる改善を示す。
当社はアノテーションとベンチマークを公開し、データセットがトラッキングのさらなる進歩につながることを期待しています。
関連論文リスト
- Ego3DT: Tracking Every 3D Object in Ego-centric Videos [20.96550148331019]
本稿では,エゴ中心映像からの物体の3次元再構成と追跡のための新しいゼロショット手法を提案する。
Ego3DTは,エゴ環境内のオブジェクトの検出とセグメンテーション情報を最初に識別し,抽出する新しいフレームワークである。
また,エゴ中心ビデオにおける物体の3次元追跡軌道を安定的に作成するための動的階層化機構を革新した。
論文 参考訳（メタデータ） (2024-10-11T05:02:31Z) - 3D-Aware Instance Segmentation and Tracking in Egocentric Videos [107.10661490652822]
エゴセントリックなビデオは、3Dシーンの理解にユニークな課題を提示する。
本稿では,一対一のビデオにおけるインスタンスのセグメンテーションとトラッキングに対する新しいアプローチを提案する。
空間的および時間的手がかりを取り入れることで、最先端の2D手法と比較して優れた性能が得られる。
論文 参考訳（メタデータ） (2024-08-19T10:08:25Z) - Tracking Reflected Objects: A Benchmark [12.770787846444406]
我々は、反射オブジェクトのトラッキングに特化したベンチマークであるTROを紹介します。
TROは、約70,000フレームの200のシーケンスを含み、それぞれにバウンディングボックスを慎重にアノテートする。
より強力なベースラインを提供するために,階層的特徴を用いて性能を向上させる新しいトラッカーであるHiP-HaTrackを提案する。
論文 参考訳（メタデータ） (2024-07-07T02:22:45Z) - EgoObjects: A Large-Scale Egocentric Dataset for Fine-Grained Object
Understanding [11.9023437362986]
EgoObjectsは、きめ細かいオブジェクト理解のための大規模なエゴセントリックなデータセットである。
パイロットバージョンには、50か国以上の250人の参加者が4つのウェアラブルデバイスを使って収集した9Kビデオが含まれている。
EgoObjectsはまた、各オブジェクトにインスタンスレベルの識別子をアノテートする。
論文 参考訳（メタデータ） (2023-09-15T23:55:43Z) - DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse
Motion [56.1428110894411]
マルチヒューマントラッキングのための大規模データセットを提案する。
データセットには、主にグループダンスビデオが含まれているので、私たちはそれを"DanceTrack"と名付けます。
当社のデータセット上でいくつかの最先端トラッカーをベンチマークし、既存のベンチマークと比較した場合、DanceTrackの大幅なパフォーマンス低下を観察します。
論文 参考訳（メタデータ） (2021-11-29T16:49:06Z) - Learning Target Candidate Association to Keep Track of What Not to Track [100.80610986625693]
目標を追尾し続けるために、逸脱物を追跡することを提案します。
視覚的トラッキングにおいて, トラクタオブジェクト間の接地トルース対応を欠く問題に対処するために, 部分アノテーションと自己監督を組み合わせたトレーニング戦略を提案する。
我々のトラッカーは6つのベンチマークで新しい最先端のベンチマークを設定し、AUCスコアはLaSOTで67.2%、OxUvA長期データセットで+6.1%向上した。
論文 参考訳（メタデータ） (2021-03-30T17:58:02Z) - Learning to Track with Object Permanence [61.36492084090744]
共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。
私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
論文 参考訳（メタデータ） (2021-03-26T04:43:04Z) - SoDA: Multi-Object Tracking with Soft Data Association [75.39833486073597]
マルチオブジェクトトラッキング(MOT)は、自動運転車の安全な配備の前提条件である。
観測対象間の依存関係をエンコードするトラック埋め込みの計算に注目するMOTに対する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-08-18T03:40:25Z) - TAO: A Large-Scale Benchmark for Tracking Any Object [95.87310116010185]
オブジェクトのデータセットの追跡は2,907本の高解像度ビデオで構成され、平均で30分の長さの多様な環境でキャプチャされる。
ビデオの任意の時点で移動するオブジェクトにアノテータにラベルを付け、ファクトラムの後に名前を付けるように求めます。
我々の語彙は、既存の追跡データセットと著しく大きく、質的に異なる。
論文 参考訳（メタデータ） (2020-05-20T21:07:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。