SpikingMOT: A Spike-Driven Multi-Object Tracker
Abstractの概要
本論文は、アクティベーションのスパース性という観点から多目標追跡（MOT）を研究し、密なニューラル応答は不要であり、軌跡予測において逆効果になることがあると主張している。著者らは、スパイキングニューラルネットワーク（SNN）に基づき、疑似軌跡基底分解と予測誤差キャリブレーションを通じて動きをモデル化するスパイク駆動のMOTフレームワーク「SpikingMOT」を導入している。この手法は、最近の軌跡履歴からバウンディングボックスを予測し、スパイクゲートダイナミクスを通じて有益な動きの基底を選択し、マッチングされた検出結果からの残差を用いて基底の重みを更新する。DanceTrack、SportsMOT、SeaDroneSee、およびMOT17のデータセットで手法を評価し、さらにスパースな代替手法、コアモジュール、基底数、ニューロンタイプ、および検出器への依存性を分析するアブレーション実験も行っている。
新規性
本論文は、MOTの軌跡予測におけるアクティベーションスパース性選好（ASP）現象を定義し、それをスパイキングニューラルネットワークを中心に構築された追跡アーキテクチャの動機付けとして用いている。また、既存のトラッカーに一般的なSNNバックボーンを単に代入するのではなく、疑似軌跡分解と予測誤差キャリブレーションを組み合わせたタスク特化型の閉ループを導入している点に新規性がある。
成果
各種ベンチマークにおいて、SpikingMOTはSportsMOTで74.9、DanceTrackで56.5という最高水準（SOTA）のHOTAを報告するとともに、SeaDroneSeeで強力な結果を、MOT17でも既存手法と同等の性能を達成している。著者らによると、ANNのベースラインと比較して、この手法は動き予測器のパラメータを72％、推定フレーム単位エネルギーを86.7％削減している。さらに、アブレーション調査により、完全な設計がスパースなANN代替手法を上回り、SportsMOT上の異なる検出器間でも一貫した性能向上が見られることが示されている。
論文の注目点
- SpikingMOTは、SNNベースのスパースなスパイクゲートを使用し、次フレーム予測のために複数の疑似軌跡の動き基底から選択を行う。
- 予測誤差キャリブレーションモジュールは、マッチングされた検出残差を基底の事後確率にフィードバックし、複数フレームにわたって閉ループの動き推論プロセスを形成する。
- 実証結果から、大幅に抑えられたモデルの推定複雑性とエネルギー消費とともに、特にSportsMOTやDanceTrackなどの動的なデータセットにおいて強力な追跡性能が示された。