論文の概要: Revisiting Color-Event based Tracking: A Unified Network, Dataset, and Metric

• arxiv url: http://arxiv.org/abs/2211.11010v2
• Date: Mon, 8 Jan 2024 13:27:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 00:36:27.530535
• Title: Revisiting Color-Event based Tracking: A Unified Network, Dataset, and Metric
• Title（参考訳）: カラーイベントベースのトラッキングを再考する:統一ネットワーク、データセット、メトリクス
• Authors: Chuanming Tang, Xiao Wang, Ju Huang, Bo Jiang, Lin Zhu, Jianlin Zhang, Yaowei Wang, Yonghong Tian
• Abstract要約: 上記の機能を同時に実現したCEUTrack(Color-Event Unified Tracking)のためのシングルステージバックボーンネットワークを提案する。 提案するCEUTrackはシンプルで,効率的で,75FPS以上を達成し,新たなSOTA性能を実現している。
• 参考スコア（独自算出の注目度）: 53.88188265943762
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining the Color and Event cameras (also called Dynamic Vision Sensors, DVS) for robust object tracking is a newly emerging research topic in recent years. Existing color-event tracking framework usually contains multiple scattered modules which may lead to low efficiency and high computational complexity, including feature extraction, fusion, matching, interactive learning, etc. In this paper, we propose a single-stage backbone network for Color-Event Unified Tracking (CEUTrack), which achieves the above functions simultaneously. Given the event points and RGB frames, we first transform the points into voxels and crop the template and search regions for both modalities, respectively. Then, these regions are projected into tokens and parallelly fed into the unified Transformer backbone network. The output features will be fed into a tracking head for target object localization. Our proposed CEUTrack is simple, effective, and efficient, which achieves over 75 FPS and new SOTA performance. To better validate the effectiveness of our model and address the data deficiency of this task, we also propose a generic and large-scale benchmark dataset for color-event tracking, termed COESOT, which contains 90 categories and 1354 video sequences. Additionally, a new evaluation metric named BOC is proposed in our evaluation toolkit to evaluate the prominence with respect to the baseline methods. We hope the newly proposed method, dataset, and evaluation metric provide a better platform for color-event-based tracking. The dataset, toolkit, and source code will be released on: \url{https://github.com/Event-AHU/COESOT}.
• Abstract（参考訳）: 堅牢なオブジェクトトラッキングのためにColorとEventのカメラ(Dynamic Vision Sensors、DVSとも呼ばれる)を組み合わせることは、近年新たに登場した研究トピックである。 既存のカラーイベントトラッキングフレームワークは、通常、複数の分散モジュールを含んでおり、機能抽出、融合、マッチング、インタラクティブ学習など、低い効率と高い計算複雑性をもたらす可能性がある。 本稿では,カラーイベント統一トラッキング(CEUTrack)のためのシングルステージバックボーンネットワークを提案する。 イベントポイントとRGBフレームが与えられた場合、まず点をボクセルに変換し、テンプレートと検索領域をそれぞれモダリティに分解する。 その後、これらの領域はトークンに投影され、統一トランスフォーマーバックボーンネットワークに並列に供給される。 出力機能は、ターゲットオブジェクトのローカライズのためにトラッキングヘッドに供給される。 提案するCEUTrackはシンプルで,効率的で,75FPS以上を達成し,新たなSOTA性能を実現している。 また,本モデルの有効性をよりよく検証し,課題のデータ不足に対処するために,90のカテゴリと1354の動画シーケンスを含むCOESOTと呼ばれるカラーイベント追跡のための総合的かつ大規模ベンチマークデータセットを提案する。 さらに,BOCと呼ばれる新しい評価指標を評価ツールキットで提案し,ベースライン手法の優位性を評価する。 新たに提案した手法,データセット,評価基準が,色覚に基づくトラッキングのためのより良いプラットフォームを提供することを期待している。 データセット、ツールキット、ソースコードは次の通りリリースされる。

関連論文リスト

• TENet: Targetness Entanglement Incorporating with Multi-Scale Pooling and Mutually-Guided Fusion for RGB-E Object Tracking [30.89375068036783]
  既存のアプローチでは、従来の外観モデルを用いて、RGB-E追跡のためのイベント特徴抽出を行う。 本稿では,イベントデータ固有の特徴を認識可能な高品質な特徴表現を実現するために,イベントバックボーン(Pooler)を提案する。 提案手法は,2つの広く使用されているRGB-E追跡データセットにおいて,最先端トラッカーを著しく上回っている。
  論文  参考訳（メタデータ） (2024-05-08T12:19:08Z)
• Long-term Frame-Event Visual Tracking: Benchmark Dataset and Baseline [37.06330707742272]
  まず, FELTと呼ばれる, 長期的かつ大規模な単一オブジェクト追跡データセットを提案する。 742の動画と1,594,474のRGBフレームとイベントストリームペアが含まれており、これまでで最大のフレームイベント追跡データセットになっている。 本稿では,RGBとイベントデータの両方を融合させるために,現代的なホップフィールド層をマルチヘッド自己アテンションブロックに導入することで,統一バックボーンとして新しい連想メモリトランスフォーマーネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T08:49:50Z)
• Single-Model and Any-Modality for Video Object Tracking [85.83753760853142]
  任意のモダリティに対して単一のパラメータセットの統一トラッカーUn-Trackを導入する。 任意のモダリティを扱うために,低ランク因子化および再構成手法を用いて,それらの共通潜時空間を学習する。 我々のUn-Trackは、+6.6M(93M以上)のパラメータを持つ+2.14(21.50以上)のGFLOPを導入することで、DepthTrackデータセット上で、+8.1絶対Fスコアゲインを達成する。
  論文  参考訳（メタデータ） (2023-11-27T14:17:41Z)
• Event Stream-based Visual Object Tracking: A High-Resolution Benchmark Dataset and A Novel Baseline [38.42400442371156]
  既存の作業は、整列したRGBとイベントデータを使用して正確なトラッキングを行うか、イベントベースのトラッカーを直接学習する。 本稿では,知識伝達を促進するために,学習中に多モード/多ビュー情報を十分に活用できる新しい階層型知識蒸留フレームワークを提案する。 EventVOTという,最初の大規模高解像度(1280×720$)のデータセットを提案する。1141のビデオが収録されており,歩行者や自動車,UAV,ピンポンなど,幅広いカテゴリをカバーする。
  論文  参考訳（メタデータ） (2023-09-26T01:42:26Z)
• Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline [80.13652104204691]
  本稿では,可視熱UAV追跡(VTUAV)のための高多様性の大規模ベンチマークを構築する。 本稿では, フレームレベルの属性を, チャレンジ固有のトラッカーの可能性を利用するための粗粒度属性アノテーションを提案する。 さらに,様々なレベルでRGB-Tデータを融合するHMFT(Hierarchical Multi-modal Fusion Tracker)という新しいRGB-Tベースラインを設計する。
  論文  参考訳（メタデータ） (2022-04-08T15:22:33Z)
• Learning Dynamic Compact Memory Embedding for Deformable Visual Object Tracking [82.34356879078955]
  本稿では,セグメント化に基づく変形可能な視覚追跡手法の識別を強化するために,コンパクトなメモリ埋め込みを提案する。 DAVIS 2017ベンチマークでは,D3SやSiamMaskなどのセグメンテーションベースのトラッカーよりも優れている。
  論文  参考訳（メタデータ） (2021-11-23T03:07:12Z)
• Multi-Object Tracking and Segmentation with a Space-Time Memory Network [12.043574473965318]
  トラックレットを関連づける新しいメモリベース機構に基づく多目的追跡とセグメンテーションの手法を提案する。 提案するトラッカーであるMeNToSは、特に長期データアソシエーションの問題に対処する。
  論文  参考訳（メタデータ） (2021-10-21T17:13:17Z)
• MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking [72.65494220685525]
  可視データと熱データ間のメッセージ通信を促進するために,新しい動的モダリティ対応フィルタ生成モジュール(MFGNet)を提案する。 我々は、2つの独立ネットワークを持つ動的モダリティ対応フィルタを生成し、その可視フィルタとサーマルフィルタをそれぞれ、対応する入力特徴写像上で動的畳み込み演算を行う。 重閉塞,高速移動,外見による問題に対処するため,新たな方向認識型目標誘導型アテンション機構を活用することで,共同で局所的・グローバル検索を行うことを提案する。
  論文  参考訳（メタデータ） (2021-07-22T03:10:51Z)
• Transformer Tracking [76.96796612225295]
  相関は追跡分野において、特に人気のあるシャム系トラッカーにおいて重要な役割を果たす。 本研究は,注意のみを用いてテンプレートと検索領域を効果的に結合した,新しい注意型特徴融合ネットワークを提案する。 実験により、TransTは6つの挑戦的なデータセットで非常に有望な結果が得られます。
  論文  参考訳（メタデータ） (2021-03-29T09:06:55Z)
• TDIOT: Target-driven Inference for Deep Video Object Tracking [0.2457872341625575]
  本研究では,事前訓練したMask R-CNNディープオブジェクト検出器をベースラインとして採用する。 本研究では,Mask R-CNNのFPN-ResNet101バックボーン上に新しい推論アーキテクチャを導入し,検出と追跡を共同で行う。 提案する単一オブジェクトトラッカであるtdiotは、データアソシエーションに外観類似性に基づく時間マッチングを適用する。
  論文  参考訳（メタデータ） (2021-03-19T20:45:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。