論文の概要: VOVTrack: Exploring the Potentiality in Videos for Open-Vocabulary Object Tracking

• arxiv url: http://arxiv.org/abs/2410.08529v1
• Date: Fri, 11 Oct 2024 05:01:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 23:24:44.938518
• Title: VOVTrack: Exploring the Potentiality in Videos for Open-Vocabulary Object Tracking
• Title（参考訳）: VOVTrack: オープン語彙オブジェクト追跡のためのビデオの可能性を探る
• Authors: Zekun Qian, Ruize Han, Junhui Hou, Linqi Song, Wei Feng,
• Abstract要約: オープンボキャブラリオブジェクト検出(OVD)とマルチオブジェクトトラッキング(MOT)の複雑さを両立させる。 OVMOT の既存のアプローチは、OVD と MOT の方法論を別個のモジュールとして統合することが多く、主に画像中心のレンズによる問題に焦点を当てている。 VOVTrackは、MOTとビデオ中心トレーニングに関連するオブジェクト状態を統合する新しい手法であり、ビデオオブジェクト追跡の観点からこの問題に対処する。
• 参考スコア（独自算出の注目度）: 61.56592503861093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary multi-object tracking (OVMOT) represents a critical new challenge involving the detection and tracking of diverse object categories in videos, encompassing both seen categories (base classes) and unseen categories (novel classes). This issue amalgamates the complexities of open-vocabulary object detection (OVD) and multi-object tracking (MOT). Existing approaches to OVMOT often merge OVD and MOT methodologies as separate modules, predominantly focusing on the problem through an image-centric lens. In this paper, we propose VOVTrack, a novel method that integrates object states relevant to MOT and video-centric training to address this challenge from a video object tracking standpoint. First, we consider the tracking-related state of the objects during tracking and propose a new prompt-guided attention mechanism for more accurate localization and classification (detection) of the time-varying objects. Subsequently, we leverage raw video data without annotations for training by formulating a self-supervised object similarity learning technique to facilitate temporal object association (tracking). Experimental results underscore that VOVTrack outperforms existing methods, establishing itself as a state-of-the-art solution for open-vocabulary tracking task.
• Abstract（参考訳）: Open-vocabulary Multi-Object Tracking (OVMOT)は、ビデオにおける多様なオブジェクトカテゴリの検出と追跡に関わる重要な新しい課題であり、目に見えないカテゴリ(ベースクラス)と見えないカテゴリ(ノーベルクラス)の両方を含んでいる。 この問題は、OVD(Open-vocabulary Object Detection)とMOT(Multi-object Tracking)の複雑さと相容れない。 OVMOT の既存のアプローチは、OVD と MOT の方法論を別個のモジュールとして統合することが多く、主に画像中心のレンズによる問題に焦点を当てている。 本稿では,この課題に対処するため,ビデオオブジェクト追跡の観点からMOTおよびビデオ中心トレーニングに関連するオブジェクト状態を統合する新しい手法VOVTrackを提案する。 まず、追跡中の物体の追跡関連状態を考察し、時間変化物体のより正確な位置決めと分類(検出)のための新しい注意機構を提案する。 その後,自己教師型オブジェクト類似性学習手法を定式化し,時間的オブジェクト関連(追跡)を容易にすることによって,アノテーションを使わずに生のビデオデータを活用する。 実験の結果、VOVTrackは既存の手法よりも優れており、オープン語彙追跡タスクの最先端ソリューションとして確立されている。

関連論文リスト

• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  VLM(Vision-Language Models)は、様々な視覚タスクにまたがる顕著な能力を示す。 現在のVLMには基本的な認知能力がなく、コンテキストを考慮し、シーン内のオブジェクトをローカライズすることを学ぶ。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• Zero-Shot Open-Vocabulary Tracking with Large Pre-Trained Models [28.304047711166056]
  大規模事前訓練モデルでは、野生の2次元静的画像中の物体の検出とセグメンテーションの進歩が期待できる。 このような大規模なトレーニング済みの静的イメージモデルを,オープン語彙のビデオトラッキングに再利用することは可能だろうか? 本稿では,オープンボキャブラリ検出器,セグメンタ,高密度光流推定器を,任意のカテゴリの物体を2Dビデオで追跡・セグメント化するモデルに再構成する。
  論文  参考訳（メタデータ） (2023-10-10T20:25:30Z)
• OVTrack: Open-Vocabulary Multiple Object Tracking [64.73379741435255]
  OVTrackは任意のオブジェクトクラスを追跡することができるオープン語彙トラッカーである。 大規模な大語彙のTAOベンチマークに新たな最先端技術が設定されている。
  論文  参考訳（メタデータ） (2023-04-17T16:20:05Z)
• Unifying Tracking and Image-Video Object Detection [54.91658924277527]
  TrIVD (Tracking and Image-Video Detection) は、画像OD、ビデオOD、MOTを1つのエンドツーエンドモデルに統合する最初のフレームワークである。 カテゴリラベルの相違やセマンティックな重複に対処するため、TrIVDは対象カテゴリに対する検出/追跡を基礎と理由として定式化している。
  論文  参考訳（メタデータ） (2022-11-20T20:30:28Z)
• End-to-end Tracking with a Multi-query Transformer [96.13468602635082]
  マルチオブジェクトトラッキング(MOT)は、時間とともにシーン内のオブジェクトの位置、外観、アイデンティティを同時に推論する必要がある課題である。 本研究の目的は、トラッキング・バイ・ディテクト・アプローチを超えて、未知のオブジェクト・クラスに対してもよく機能するクラスに依存しないトラッキングへと移行することである。
  論文  参考訳（メタデータ） (2022-10-26T10:19:37Z)
• Multi-modal Transformers Excel at Class-agnostic Object Detection [105.10403103027306]
  既存の手法では、人間の理解可能な意味論によって支配されるトップダウンの監視信号が欠落していると論じる。 マルチスケール特徴処理と変形可能な自己アテンションを用いた効率よく柔軟なMViTアーキテクチャを開発した。 多様なアプリケーションにおけるMViT提案の重要性を示す。
  論文  参考訳（メタデータ） (2021-11-22T18:59:29Z)
• Learning to Track Object Position through Occlusion [32.458623495840904]
  オクルージョンは、物体検出器やトラッカーが直面する最も重要な課題の1つである。 本稿では,領域ベースビデオオブジェクト検出装置の成功に基づくトラッキング・バイ・検出手法を提案する。 提案手法は,インターネットから収集した家具組立ビデオのデータセットにおいて,優れた結果が得られる。
  論文  参考訳（メタデータ） (2021-06-20T22:29:46Z)
• IA-MOT: Instance-Aware Multi-Object Tracking with Motion Consistency [40.354708148590696]
  IA-MOT(Instance-Aware MOT)は、静止カメラまたは移動カメラで複数の物体を追跡できる。 提案手法は,CVPR 2020ワークショップにおけるBMTTチャレンジのトラック3で優勝した。
  論文  参考訳（メタデータ） (2020-06-24T03:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。