Fugu-MT 論文翻訳(概要): Event Stream-based Visual Object Tracking: A High-Resolution Benchmark Dataset and A Novel Baseline

論文の概要: Event Stream-based Visual Object Tracking: A High-Resolution Benchmark Dataset and A Novel Baseline

arxiv url: http://arxiv.org/abs/2309.14611v1
Date: Tue, 26 Sep 2023 01:42:26 GMT
ステータス: 処理完了
システム内更新日: 2023-09-27 15:16:12.765691
Title: Event Stream-based Visual Object Tracking: A High-Resolution Benchmark Dataset and A Novel Baseline
Title（参考訳）: イベントストリームベースのビジュアルオブジェクト追跡:高解像度ベンチマークデータセットと新しいベースライン
Authors: Xiao Wang, Shiao Wang, Chuanming Tang, Lin Zhu, Bo Jiang, Yonghong Tian, Jin Tang
Abstract要約: 既存の作業は、整列したRGBとイベントデータを使用して正確なトラッキングを行うか、イベントベースのトラッカーを直接学習する。本稿では,知識伝達を促進するために,学習中に多モード/多ビュー情報を十分に活用できる新しい階層型知識蒸留フレームワークを提案する。 EventVOTという,最初の大規模高解像度(1280×720$)のデータセットを提案する。1141のビデオが収録されており,歩行者や自動車,UAV,ピンポンなど,幅広いカテゴリをカバーする。
参考スコア（独自算出の注目度）: 38.42400442371156
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Tracking using bio-inspired event cameras has drawn more and more attention in recent years. Existing works either utilize aligned RGB and event data for accurate tracking or directly learn an event-based tracker. The first category needs more cost for inference and the second one may be easily influenced by noisy events or sparse spatial resolution. In this paper, we propose a novel hierarchical knowledge distillation framework that can fully utilize multi-modal / multi-view information during training to facilitate knowledge transfer, enabling us to achieve high-speed and low-latency visual tracking during testing by using only event signals. Specifically, a teacher Transformer-based multi-modal tracking framework is first trained by feeding the RGB frame and event stream simultaneously. Then, we design a new hierarchical knowledge distillation strategy which includes pairwise similarity, feature representation, and response maps-based knowledge distillation to guide the learning of the student Transformer network. Moreover, since existing event-based tracking datasets are all low-resolution ($346 \times 260$), we propose the first large-scale high-resolution ($1280 \times 720$) dataset named EventVOT. It contains 1141 videos and covers a wide range of categories such as pedestrians, vehicles, UAVs, ping pongs, etc. Extensive experiments on both low-resolution (FE240hz, VisEvent, COESOT), and our newly proposed high-resolution EventVOT dataset fully validated the effectiveness of our proposed method. The dataset, evaluation toolkit, and source code are available on \url{https://github.com/Event-AHU/EventVOT_Benchmark}
Abstract（参考訳）: 近年,バイオインスパイアされたイベントカメラによる追跡が注目されている。既存の作業は、整列RGBとイベントデータを使用して正確なトラッキングを行うか、イベントベースのトラッカーを直接学習する。第1のカテゴリは推論により多くのコストを必要とし、第2のカテゴリはノイズのある事象やスパース空間分解の影響を受けやすい。本稿では,学習中に多モード/多視点情報を完全に活用して知識伝達を容易にする階層型知識蒸留フレームワークを提案する。具体的には、教師トランスフォーマーベースのマルチモーダルトラッキングフレームワークをまず、rgbフレームとイベントストリームを同時に供給してトレーニングする。次に, 学生トランスフォーマーネットワークの学習を導くために, 対関係の類似性, 特徴表現, 応答マップに基づく知識蒸留を含む新しい階層的知識蒸留戦略を設計する。さらに、既存のイベントベースのトラッキングデータセットはすべて低解像度(346 \times 260$)であるため、EventVOTと呼ばれる最初の大規模な高解像度(1280 \times 720$)データセットを提案する。 1141本のビデオがあり、歩行者、車両、uav、ピンポンなど幅広いカテゴリーをカバーしている。低分解能(FE240hz, VisEvent, COESOT)と新たに提案した高分解能EventVOTデータセットのどちらも,提案手法の有効性を十分に検証した。データセット、評価ツールキット、ソースコードは \url{https://github.com/Event-AHU/EventVOT_Benchmark} で入手できる。

論文の概要: Event Stream-based Visual Object Tracking: A High-Resolution Benchmark Dataset and A Novel Baseline

関連論文リスト