論文の概要: SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features

• arxiv url: http://arxiv.org/abs/2309.16987v1
• Date: Fri, 29 Sep 2023 05:13:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 15:15:24.771944
• Title: SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features
• Title（参考訳）: SpikeMOT: スパースモーション機能を備えたイベントベースのマルチオブジェクトトラッキング
• Authors: Song Wang, Zhu Wang, Can Li, Xiaojuan Qi, Hayden Kwok-Hay So
• Abstract要約: SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
• 参考スコア（独自算出の注目度）: 52.213656737672935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In comparison to conventional RGB cameras, the superior temporal resolution of event cameras allows them to capture rich information between frames, making them prime candidates for object tracking. Yet in practice, despite their theoretical advantages, the body of work on event-based multi-object tracking (MOT) remains in its infancy, especially in real-world settings where events from complex background and camera motion can easily obscure the true target motion. In this work, an event-based multi-object tracker, called SpikeMOT, is presented to address these challenges. SpikeMOT leverages spiking neural networks to extract sparse spatiotemporal features from event streams associated with objects. The resulting spike train representations are used to track the object movement at high frequency, while a simultaneous object detector provides updated spatial information of these objects at an equivalent frame rate. To evaluate the effectiveness of SpikeMOT, we introduce DSEC-MOT, the first large-scale event-based MOT benchmark incorporating fine-grained annotations for objects experiencing severe occlusions, frequent trajectory intersections, and long-term re-identification in real-world contexts. Extensive experiments employing DSEC-MOT and another event-based dataset, named FE240hz, demonstrate SpikeMOT's capability to achieve high tracking accuracy amidst challenging real-world scenarios, advancing the state-of-the-art in event-based multi-object tracking.
• Abstract（参考訳）: 従来のRGBカメラと比較して、イベントカメラの時間分解能が優れているため、フレーム間のリッチな情報をキャプチャでき、オブジェクト追跡の候補となる。 しかし実際には、理論上の利点にもかかわらず、イベントベースのマルチオブジェクトトラッキング(mot)の開発は、特に複雑な背景やカメラの動きによるイベントが本当のターゲットの動きを分かりにくくする現実の環境では、まだ初期段階にある。 本稿では、これらの課題に対処するために、spikemotと呼ばれるイベントベースのマルチオブジェクトトラッカが提示される。 spikemotはスパイクニューラルネットワークを利用して、オブジェクトに関連するイベントストリームからスパース時空的特徴を抽出する。 得られたスパイクトレイン表現は、オブジェクトの動きを高周波で追跡するために使用され、同時にオブジェクト検出器は、これらのオブジェクトの空間情報を同等のフレームレートで更新する。 SpikeMOTの有効性を評価するため,大規模なイベントベースMOTベンチマークであるDSEC-MOTを導入する。 DSEC-MOTとFE240hzという別のイベントベースのデータセットを使用した大規模な実験は、現実のシナリオに挑戦する中で高いトラッキング精度を達成するSpikeMOTの能力を実証し、イベントベースのマルチオブジェクトトラッキングにおける最先端の進歩を示す。

関連論文リスト

• BlinkTrack: Feature Tracking over 100 FPS via Events and Images [50.98675227695814]
  本稿では,RGB画像とイベントデータを統合した新しいフレームワークであるBlinkTrackを提案する。 本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。 実験の結果、BlinkTrackは既存のイベントベースの手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-09-26T15:54:18Z)
• Distractor-aware Event-based Tracking [45.07711356111249]
  本稿では,シームズネットワークアーキテクチャ(DANet)にトランスフォーマーモジュールを導入するイベントベースのトラッカーを提案する。 本モデルは主にモーション認識ネットワークとターゲット認識ネットワークで構成され,イベントデータから動作キューとオブジェクトの輪郭の両方を同時に活用する。 私たちのDANetは、後処理なしでエンドツーエンドでトレーニングでき、単一のV100上で80FPS以上で実行できます。
  論文  参考訳（メタデータ） (2023-10-22T05:50:20Z)
• MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
  本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。 実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-06-05T04:24:11Z)
• Event-Free Moving Object Segmentation from Moving Ego Vehicle [88.33470650615162]
  動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において重要で困難だが、未調査の研究テーマである。 ほとんどのセグメンテーション法は、光学フローマップから得られるモーションキューを利用する。 我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
  論文  参考訳（メタデータ） (2023-04-28T23:43:10Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• RGB-Event Fusion for Moving Object Detection in Autonomous Driving [3.5397758597664306]
  移動物体検出(MOD)は安全な自動運転を実現するための重要な視覚課題である。 センサ技術の最近の進歩、特にイベントカメラは、移動物体をより良くモデル化するための従来のカメラアプローチを自然に補完することができる。 我々は、より堅牢なMODを実現するために、2つの相補的モダリティを共同で活用する新しいRGB-Event fusion NetworkであるRENetを提案する。
  論文  参考訳（メタデータ） (2022-09-17T12:59:08Z)
• IA-MOT: Instance-Aware Multi-Object Tracking with Motion Consistency [40.354708148590696]
  IA-MOT(Instance-Aware MOT)は、静止カメラまたは移動カメラで複数の物体を追跡できる。 提案手法は,CVPR 2020ワークショップにおけるBMTTチャレンジのトラック3で優勝した。
  論文  参考訳（メタデータ） (2020-06-24T03:53:36Z)
• End-to-end Learning of Object Motion Estimation from Retinal Events for Event-based Object Tracking [35.95703377642108]
  イベントベースオブジェクト追跡のためのパラメトリックオブジェクトレベルの動き/変換モデルを学習し、回帰する新しいディープニューラルネットワークを提案する。 この目的を達成するために,線形時間減衰表現を用いた同期時間曲面を提案する。 我々は、TSLTDフレームのシーケンスを新しい網膜運動回帰ネットワーク(RMRNet)に供給し、エンド・ツー・エンドの5-DoFオブジェクト・モーション・レグレッションを実行する。
  論文  参考訳（メタデータ） (2020-02-14T08:19:50Z)
• Asynchronous Tracking-by-Detection on Adaptive Time Surfaces for Event-based Object Tracking [87.0297771292994]
  本稿では,イベントベースのトラッキング・バイ・ディテクト(ETD)手法を提案する。 この目的を達成するために,線形時間決定(ATSLTD)イベント・ツー・フレーム変換アルゴリズムを用いた適応時間曲面を提案する。 提案手法と,従来のカメラやイベントカメラをベースとした7種類のオブジェクト追跡手法と,ETDの2種類のバリエーションを比較した。
  論文  参考訳（メタデータ） (2020-02-13T15:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。