論文の概要: SDTrack: A Baseline for Event-based Tracking via Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2503.08703v1
• Date: Sun, 09 Mar 2025 02:01:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:40:42.431873
• Title: SDTrack: A Baseline for Event-based Tracking via Spiking Neural Networks
• Title（参考訳）: SDTrack:スパイクニューラルネットワークによるイベントベースのトラッキングのベースライン
• Authors: Yimeng Shan, Zhenbang Ren, Haodi Wu, Wenjie Wei, Rui-Jie Zhu, Shuai Wang, Dehao Zhang, Yichen Xiao, Jieyuan Zhang, Kexin Shi, Jingzhinan Wang, Jason K. Eshraghian, Haicheng Qu, Jiqing Zhang, Malu Zhang, Yang Yang,
• Abstract要約: スパイクニューラルネットワーク(SNN)は、離散的なスパイク信号を通じてイベントデータを自然に補完し、イベントベースのトラッキングに最適である。 本稿では,Transformerベースのスパイク駆動型トラッキングパイプラインを提案する。 我々のGTP(Global Trajectory Prompt)法は,グローバルなトラジェクトリ情報を効果的にキャプチャし,イベントストリームをイベントイメージに集約する。 次に,SDTrackを紹介する。SDTrackは,Spyking MetaFormerのバックボーンと,スパイク信号を用いた正規化座標を直接予測するシンプルなトラッキングヘッドを備えるトランスフォーマーベースのスパイク駆動トラッカーである。
• 参考スコア（独自算出の注目度）: 14.760720933322325
• License:
• Abstract: Event cameras provide superior temporal resolution, dynamic range, power efficiency, and pixel bandwidth. Spiking Neural Networks (SNNs) naturally complement event data through discrete spike signals, making them ideal for event-based tracking. However, current approaches that combine Artificial Neural Networks (ANNs) and SNNs, along with suboptimal architectures, compromise energy efficiency and limit tracking performance. To address these limitations, we propose the first Transformer-based spike-driven tracking pipeline. Our Global Trajectory Prompt (GTP) method effectively captures global trajectory information and aggregates it with event streams into event images to enhance spatiotemporal representation. We then introduce SDTrack, a Transformer-based spike-driven tracker comprising a Spiking MetaFormer backbone and a simple tracking head that directly predicts normalized coordinates using spike signals. The framework is end-to-end, does not require data augmentation or post-processing. Extensive experiments demonstrate that SDTrack achieves state-of-the-art performance while maintaining the lowest parameter count and energy consumption across multiple event-based tracking benchmarks, establishing a solid baseline for future research in the field of neuromorphic vision.
• Abstract（参考訳）: イベントカメラは時間分解能、ダイナミックレンジ、電力効率、ピクセル帯域幅に優れる。 スパイクニューラルネットワーク(SNN)は、離散的なスパイク信号を通じてイベントデータを自然に補完し、イベントベースのトラッキングに最適である。 しかし、ANN(Artificial Neural Networks)とSNN(SNN)を組み合わせた現在のアプローチは、最適以下のアーキテクチャとともに、エネルギー効率を損なうとともに、トラッキング性能を制限している。 これらの制約に対処するため,Transformerベースのスパイク駆動トラッキングパイプラインを提案する。 我々のGTP(Global Trajectory Prompt)法は,グローバルなトラジェクトリ情報を効果的に捕捉し,イベントストリームをイベントイメージに集約し,時空間表現を向上させる。 次に,SDTrackを紹介する。SDTrackは,Spyking MetaFormerのバックボーンと,スパイク信号を用いた正規化座標を直接予測するシンプルなトラッキングヘッドを備えるトランスフォーマーベースのスパイク駆動トラッカーである。 フレームワークはエンドツーエンドで、データ拡張や後処理を必要としない。 広範囲にわたる実験により、SDTrackは、複数の事象ベースのトラッキングベンチマークで最低パラメータ数とエネルギー消費を維持しつつ、最先端のパフォーマンスを達成し、ニューロモルフィック・ビジョンの分野における将来の研究のための確かなベースラインを確立した。

関連論文リスト

• BlinkTrack: Feature Tracking over 100 FPS via Events and Images [50.98675227695814]
  本稿では,RGB画像とイベントデータを統合した新しいフレームワークであるBlinkTrackを提案する。 本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。 実験の結果、BlinkTrackは既存のイベントベースの手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-09-26T15:54:18Z)
• Neuromorphic Vision-based Motion Segmentation with Graph Transformer Neural Network [4.386534439007928]
  本稿では,GTNNと呼ばれるグラフトランスフォーマーニューラルネットワークを用いたイベントベース動作分割アルゴリズムを提案する。 提案アルゴリズムは, イベント間の局所的および大域的相関を明らかにするために, 一連の非線形変換により, イベントストリームを3次元グラフとして処理する。 GTNNは、動的背景変動、動きパターン、および様々な大きさと速度を持つ複数の動的物体の存在下で、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-16T22:44:29Z)
• Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
  効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。 DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。 複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
  論文  参考訳（メタデータ） (2024-03-26T12:31:58Z)
• SpikePoint: An Efficient Point-based Spiking Neural Network for Event Cameras Action Recognition [11.178792888084692]
  スパイキングニューラルネットワーク(SNN)は、その顕著な効率性と耐障害性のために注目されている。 本稿では,新しいエンドツーエンドのポイントベースSNNアーキテクチャであるSpikePointを提案する。 SpikePointはスパースイベントクラウドデータの処理に優れ、グローバル機能とローカル機能の両方を効果的に抽出する。
  論文  参考訳（メタデータ） (2023-10-11T04:38:21Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• On the Generation of a Synthetic Event-Based Vision Dataset for Navigation and Landing [69.34740063574921]
  本稿では,最適な着陸軌道からイベントベースの視覚データセットを生成する手法を提案する。 我々は,惑星と小惑星の自然シーン生成ユーティリティを用いて,月面のフォトリアリスティックな画像のシーケンスを構築した。 パイプラインは500トラジェクトリのデータセットを構築することで,表面特徴の現実的なイベントベース表現を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-08-01T09:14:20Z)
• Data-driven Feature Tracking for Event Cameras [48.04815194265117]
  グレースケールフレームで検出された特徴を追跡するために、低レイテンシイベントを活用するイベントカメラのための、最初のデータ駆動機能トラッカーを紹介した。 合成データから実データに直接ゼロショットを転送することで、我々のデータ駆動トラッカーは、相対的特徴年齢における既存のアプローチを最大120%向上させる。 この性能ギャップはさらに130%増加し、トラッカーを新たな自己超越戦略で実データに適用する。
  論文  参考訳（メタデータ） (2022-11-23T10:20:11Z)
• TDIOT: Target-driven Inference for Deep Video Object Tracking [0.2457872341625575]
  本研究では,事前訓練したMask R-CNNディープオブジェクト検出器をベースラインとして採用する。 本研究では,Mask R-CNNのFPN-ResNet101バックボーン上に新しい推論アーキテクチャを導入し,検出と追跡を共同で行う。 提案する単一オブジェクトトラッカであるtdiotは、データアソシエーションに外観類似性に基づく時間マッチングを適用する。
  論文  参考訳（メタデータ） (2021-03-19T20:45:06Z)
• A Hybrid Neuromorphic Object Tracking and Classification Framework for Real-time Systems [5.959466944163293]
  本稿では,イベントベースカメラを用いた物体追跡と分類のためのリアルタイムハイブリッドニューロモルフィックフレームワークを提案する。 イベント・バイ・イベント処理の従来のアプローチとは異なり、この作業では混合フレームとイベント・アプローチを使用して高性能な省エネを実現している。
  論文  参考訳（メタデータ） (2020-07-21T07:11:27Z)
• Object Tracking through Residual and Dense LSTMs [67.98948222599849]
  LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。 ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
  論文  参考訳（メタデータ） (2020-06-22T08:20:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。