論文の概要: Fire on Motion: Optimizing Video Pass-bands for Efficient Spiking Action Recognition
- arxiv url: http://arxiv.org/abs/2601.22675v1
- Date: Fri, 30 Jan 2026 07:47:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 18:28:15.303765
- Title: Fire on Motion: Optimizing Video Pass-bands for Efficient Spiking Action Recognition
- Title(参考訳): Fire on Motion: 効率的なスパイキング動作認識のためのビデオパスバンドの最適化
- Authors: Shuhan Ye, Yuanbin Qian, Yi Yu, Chong Wang, Yuqi Xie, Jiazhen Xu, Kun Wang, Xudong Jiang,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率、生物の楽観性、および固有の時間的処理により、視界において牽引力を高めている。
しかしながら、SNNは、人工知能ニューラルネットワーク(ANN)と比較して、動的ビデオタスクではまだパフォーマンスが劣っている。
- 参考スコア(独自算出の注目度): 21.25634534419545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks (SNNs) have gained traction in vision due to their energy efficiency, bio-plausibility, and inherent temporal processing. Yet, despite this temporal capacity, most progress concentrates on static image benchmarks, and SNNs still underperform on dynamic video tasks compared to artificial neural networks (ANNs). In this work, we diagnose a fundamental pass-band mismatch: Standard spiking dynamics behave as a temporal low pass that emphasizes static content while attenuating motion bearing bands, where task relevant information concentrates in dynamic tasks. This phenomenon explains why SNNs can approach ANNs on static tasks yet fall behind on tasks that demand richer temporal understanding.To remedy this, we propose the Pass-Bands Optimizer (PBO), a plug-and-play module that optimizes the temporal pass-band toward task-relevant motion bands. PBO introduces only two learnable parameters, and a lightweight consistency constraint that preserves semantics and boundaries, incurring negligible computational overhead and requires no architectural changes. PBO deliberately suppresses static components that contribute little to discrimination, effectively high passing the stream so that spiking activity concentrates on motion bearing content. On UCF101, PBO yields over ten percentage points improvement. On more complex multi-modal action recognition and weakly supervised video anomaly detection, PBO delivers consistent and significant gains, offering a new perspective for SNN based video processing and understanding.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率、生物の楽観性、および固有の時間的処理により、視界において牽引力を高めている。
しかし、この時間的能力にもかかわらず、ほとんどの進歩は静的画像ベンチマークに集中しており、SNNは、人工知能ニューラルネットワーク(ANN)と比較して、動的ビデオタスクではまだパフォーマンスが劣っている。
本研究は,基本パスバンドミスマッチを診断する: 標準的なスパイキングダイナミクスは,動的タスクにタスク関連情報が集中する動作軸受バンドを減衰させながら,静的なコンテンツを強調するテンポラルローパスとして振る舞う。
この現象は、SNNが静的なタスクにおいてANNに近づいたとしても、より時間的理解を必要とするタスクに後れを付けることができる理由を説明するものであり、これを改善するために、時間的パスバンドをタスク関連モーションバンドに最適化するプラグイン・アンド・プレイモジュールであるPBO(Pass-Bands Optimizer)を提案する。
PBOは2つの学習可能なパラメータと、セマンティクスとバウンダリを保存する軽量な一貫性制約を導入し、無視可能な計算オーバーヘッドを発生させ、アーキテクチャの変更を必要としない。
PBOは、差別にほとんど寄与しない静的成分を意図的に抑制し、効果的にストリームを通過させ、スパイキング活性がモーションベアリング内容に集中するようにする。
UCF101では、PBOは10パーセント以上の改善をもたらす。
より複雑なマルチモーダルアクション認識と弱教師付きビデオ異常検出では、PBOは一貫性と重要なゲインを提供し、SNNベースのビデオ処理と理解の新しい視点を提供する。
関連論文リスト
- Unleashing Temporal Capacity of Spiking Neural Networks through Spatiotemporal Separation [67.69345363409835]
スパイキングニューラルネットワーク(SNN)は、時間的処理に自然に適していると考えられており、膜電位の伝播は、コア時間的モデリングメカニズムとして広く見なされている。
我々は, 膜伝播を段階的に段階的に除去する非ステートフル(NS)モデルの設計を行った。
論文 参考訳(メタデータ) (2025-12-05T07:05:53Z) - Ultra-Low-Latency Spiking Neural Networks with Temporal-Dependent Integrate-and-Fire Neuron Model for Objects Detection [9.928561993466458]
スパイキングニューラルネットワーク(SNN)は、最小消費電力と迅速な推論能力によって特徴付けられる。
本研究では, 不均一なスパイクパターンに起因する残留膜電位の問題を緩和するための遅延スパイク手法を提案する。
提案手法は,より高精度な特徴表現を低段階で実現し,視覚的検出タスクにおいて高い性能と超低レイテンシを実現する。
論文 参考訳(メタデータ) (2025-08-28T03:32:45Z) - Learning with Spike Synchrony in Spiking Neural Networks [3.8506283985103447]
スパイキングニューラルネットワーク(SNN)は、生物学的神経力学を模倣してエネルギー効率の高い計算を約束する。
本稿では,スパイクタイミングではなく神経発射の度合いに基づいてシナプス重みを調整する訓練手法として,スパイク同期依存塑性(SSDP)を導入する。
論文 参考訳(メタデータ) (2025-04-14T04:01:40Z) - Spiking Meets Attention: Efficient Remote Sensing Image Super-Resolution with Attention Spiking Neural Networks [86.28783985254431]
従来の人工ニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場
本稿では,AID,DOTA,DIORなどのリモートセンシングベンチマークにおいて,最先端の性能を実現するSpikeSRを提案する。
論文 参考訳(メタデータ) (2025-03-06T09:06:06Z) - Rethinking Spiking Neural Networks from an Ensemble Learning Perspective [4.823440259626247]
スパイキングニューラルネットワーク(SNN)はエネルギー効率が優れているが、限られた性能に悩まされている。
本稿では,SNNをアーキテクチャと重みを共有するテンポラルワークのアンサンブルとみなす。
我々は初期膜電位分布の整合性を促進し、膜電位の平滑化と時間的に隣接するサブネットワークガイダンスを通して出力する。
論文 参考訳(メタデータ) (2025-02-20T03:15:52Z) - Activation-wise Propagation: A Universal Strategy to Break Timestep Constraints in Spiking Neural Networks for 3D Data Processing [29.279985043923386]
スパイキングニューロンに対する新しい状態更新機構であるAMP2(Activation-wise membrane potential Propagation)を導入する。
深いネットワークで接続をスキップすることで刺激を受け、AMP2はニューロンの膜電位をネットワークに組み込み、反復的な更新を不要にする。
提案手法は,3次元点雲やイベントストリームなど,様々な3次元モードの大幅な改善を実現する。
論文 参考訳(メタデータ) (2025-02-18T11:52:25Z) - Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳(メタデータ) (2024-09-19T06:52:34Z) - A Prospective Study on Sequence-Driven Temporal Sampling and Ego-Motion
Compensation for Action Recognition in the EPIC-Kitchens Dataset [68.8204255655161]
行動認識はコンピュータビジョンにおける最上位の研究分野の一つである。
エゴモーション記録シーケンスは重要な関連性を持つようになった。
提案手法は,このエゴモーションやカメラの動きを推定して対処することを目的としている。
論文 参考訳(メタデータ) (2020-08-26T14:44:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。