論文の概要: Towards Low-Latency Event Stream-based Visual Object Tracking: A Slow-Fast Approach

• arxiv url: http://arxiv.org/abs/2505.12903v1
• Date: Mon, 19 May 2025 09:37:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.518497
• Title: Towards Low-Latency Event Stream-based Visual Object Tracking: A Slow-Fast Approach
• Title（参考訳）: 低レイテンシイベントストリームベースのビジュアルオブジェクト追跡に向けて:スローファストアプローチ
• Authors: Shiao Wang, Xiao Wang, Liye Jin, Bo Jiang, Lin Zhu, Lan Chen, Yonghong Tian, Bin Luo,
• Abstract要約: 我々は,SFTrackと呼ばれる,異なる運用要件に柔軟に対応する新しいスローファストトラッキングパラダイムを提案する。 提案するフレームワークは2つの補完モード,すなわち,十分な計算資源を持つシナリオを対象とした高精度なスロートラッカと,レイテンシを意識したリソース制約のある環境に適した効率的な高速トラッカをサポートする。 このフレームワークは,まず高時間分解能イベントストリームからグラフベースの表現学習を行い,学習したグラフ構造化情報を2つのFlashAttentionベースのビジョンバックボーンに統合する。
• 参考スコア（独自算出の注目度）: 32.91982063297922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing tracking algorithms typically rely on low-frame-rate RGB cameras coupled with computationally intensive deep neural network architectures to achieve effective tracking. However, such frame-based methods inherently face challenges in achieving low-latency performance and often fail in resource-constrained environments. Visual object tracking using bio-inspired event cameras has emerged as a promising research direction in recent years, offering distinct advantages for low-latency applications. In this paper, we propose a novel Slow-Fast Tracking paradigm that flexibly adapts to different operational requirements, termed SFTrack. The proposed framework supports two complementary modes, i.e., a high-precision slow tracker for scenarios with sufficient computational resources, and an efficient fast tracker tailored for latency-aware, resource-constrained environments. Specifically, our framework first performs graph-based representation learning from high-temporal-resolution event streams, and then integrates the learned graph-structured information into two FlashAttention-based vision backbones, yielding the slow and fast trackers, respectively. The fast tracker achieves low latency through a lightweight network design and by producing multiple bounding box outputs in a single forward pass. Finally, we seamlessly combine both trackers via supervised fine-tuning and further enhance the fast tracker's performance through a knowledge distillation strategy. Extensive experiments on public benchmarks, including FE240, COESOT, and EventVOT, demonstrate the effectiveness and efficiency of our proposed method across different real-world scenarios. The source code has been released on https://github.com/Event-AHU/SlowFast_Event_Track.
• Abstract（参考訳）: 既存のトラッキングアルゴリズムは通常、効率的なトラッキングを実現するために、計算集約的なディープニューラルネットワークアーキテクチャと組み合わせた低フレームレートのRGBカメラに依存している。 しかし、このようなフレームベースの手法は本質的に低レイテンシ性能を実現する上での課題に直面するものであり、リソース制約のある環境では失敗することが多い。 近年,バイオインスパイアされたイベントカメラを用いた視覚オブジェクトのトラッキングが,低遅延アプリケーションに明確なメリットをもたらす,有望な研究方向として浮上している。 本稿では,SFTrackと呼ばれる,異なる運用要件に柔軟に対応する新しいスローファストトラッキングパラダイムを提案する。 提案するフレームワークは2つの補完モード,すなわち,十分な計算資源を持つシナリオを対象とした高精度なスロートラッカと,レイテンシに配慮したリソース制約のある環境に適した効率的な高速トラッカをサポートする。 具体的には、まず、高時間分解能イベントストリームからグラフベースの表現学習を行い、学習したグラフ構造化情報を2つのFlashAttentionベースのビジョンバックボーンに統合し、遅いトラッカーと速いトラッカーを生成する。 高速トラッカーは、軽量なネットワーク設計により低レイテンシを実現し、単一のフォワードパスで複数のバウンディングボックス出力を生成する。 最後に,両トラッカーを教師付き微調整によりシームレスに組み合わせ,知識蒸留戦略により高速トラッカーの性能をさらに向上させる。 FE240、COESOT、EventVOTなどの公開ベンチマークに関する大規模な実験は、提案手法の有効性と有効性を示す。 ソースコードはhttps://github.com/Event-AHU/SlowFast_Event_Trackで公開されている。

関連論文リスト

• CREST: An Efficient Conjointly-trained Spike-driven Framework for Event-based Object Detection Exploiting Spatiotemporal Dynamics [7.696109414724968]
  スパイキングニューラルネットワーク(SNN)は、イベントベースのオブジェクト認識と検出を約束する。 既存のSNNフレームワークは、多くの場合、マルチスケールの時間的特徴を扱うことができず、データの冗長性が向上し、精度が低下する。 我々は、イベントベースのオブジェクト検出を利用するために、結合的にトレーニングされた新しいスパイク駆動フレームワークであるCRESTを提案する。
  論文  参考訳（メタデータ） (2024-12-17T04:33:31Z)
• Learning Motion Blur Robust Vision Transformers with Dynamic Early Exit for Real-Time UAV Tracking [14.382072224997074]
  トレーニング済みのViTバックボーンを使用したシングルストリームアーキテクチャでは、パフォーマンス、効率、堅牢性が改善されている。 リアルタイムなUAV追跡のためにTransformerブロックを動的に終了する適応型フレームワークにすることで、このフレームワークの効率を向上する。 また, 動きのぼかし処理におけるViTsの有効性も改善した。これは, UAV, 追跡対象の速さ, あるいはその両方によって生じるUAVトラッキングの共通問題である。
  論文  参考訳（メタデータ） (2024-07-07T14:10:04Z)
• Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
  効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。 DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。 複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
  論文  参考訳（メタデータ） (2024-03-26T12:31:58Z)
• PNAS-MOT: Multi-Modal Object Tracking with Pareto Neural Architecture Search [64.28335667655129]
  複数の物体追跡は、自律運転において重要な課題である。 トラッキングの精度が向上するにつれて、ニューラルネットワークはますます複雑になり、レイテンシが高いため、実際の運転シナリオにおける実践的な応用に課題が生じる。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法を用いて追跡のための効率的なアーキテクチャを探索し,比較的高い精度を維持しつつ,低リアルタイム遅延を実現することを目的とした。
  論文  参考訳（メタデータ） (2024-03-23T04:18:49Z)
• Correlating sparse sensing for large-scale traffic speed estimation: A Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
  本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。 次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-10-21T07:25:57Z)
• Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework [76.70603443624012]
  特徴学習と関係モデリングを統合した新しい一ストリーム追跡(OSTrack)フレームワークを提案する。 このようにして、相互誘導により識別的目標指向特徴を動的に抽出することができる。 OSTrackは、複数のベンチマークで最先端のパフォーマンスを実現しており、特に、ワンショットトラッキングベンチマークのGOT-10kでは印象的な結果を示している。
  論文  参考訳（メタデータ） (2022-03-22T18:37:11Z)
• EBBINNOT: A Hardware Efficient Hybrid Event-Frame Tracker for Stationary Dynamic Vision Sensors [5.674895233111088]
  本稿では,静止型ニューロモルフィックセンサによって記録された物体を検知・追跡するための複合イベントフレーム手法を提案する。 静的DVSの背景除去特性を活用するために,フレーム内のイベントの有無を通知するイベントベースバイナリ画像生成を提案する。 静止DVSベースのトラフィック監視ソリューションが、同時に記録されたRGBフレームベースの方法と比較されるのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-05-31T03:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。