論文の概要: EAS-SNN: End-to-End Adaptive Sampling and Representation for Event-based Detection with Recurrent Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2403.12574v1
- Date: Tue, 19 Mar 2024 09:34:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 14:43:03.107542
- Title: EAS-SNN: End-to-End Adaptive Sampling and Representation for Event-based Detection with Recurrent Spiking Neural Networks
- Title(参考訳): EAS-SNN: 繰り返しスパイクニューラルネットワークを用いた事象検出のためのエンドツーエンド適応サンプリングと表現
- Authors: Ziming Wang, Ziling Wang, Huaning Li, Lang Qin, Runhao Jiang, De Ma, Huajin Tang,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、スパーススパイク通信を通じてイベント駆動の操作を行う。
本稿では,Residual potential Dropout (RPD) と Spike-Aware Training (SAT) を導入する。
提案手法は,Gen1データセットの4.4%のmAP改善を実現し,パラメータの38%削減と3つの時間ステップを要した。
- 参考スコア(独自算出の注目度): 14.046487518350792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras, with their high dynamic range and temporal resolution, are ideally suited for object detection, especially under scenarios with motion blur and challenging lighting conditions. However, while most existing approaches prioritize optimizing spatiotemporal representations with advanced detection backbones and early aggregation functions, the crucial issue of adaptive event sampling remains largely unaddressed. Spiking Neural Networks (SNNs), which operate on an event-driven paradigm through sparse spike communication, emerge as a natural fit for addressing this challenge. In this study, we discover that the neural dynamics of spiking neurons align closely with the behavior of an ideal temporal event sampler. Motivated by this insight, we propose a novel adaptive sampling module that leverages recurrent convolutional SNNs enhanced with temporal memory, facilitating a fully end-to-end learnable framework for event-based detection. Additionally, we introduce Residual Potential Dropout (RPD) and Spike-Aware Training (SAT) to regulate potential distribution and address performance degradation encountered in spike-based sampling modules. Through rigorous testing on neuromorphic datasets for event-based detection, our approach demonstrably surpasses existing state-of-the-art spike-based methods, achieving superior performance with significantly fewer parameters and time steps. For instance, our method achieves a 4.4\% mAP improvement on the Gen1 dataset, while requiring 38\% fewer parameters and three time steps. Moreover, the applicability and effectiveness of our adaptive sampling methodology extend beyond SNNs, as demonstrated through further validation on conventional non-spiking detection models.
- Abstract(参考訳): イベントカメラは、高いダイナミックレンジと時間分解能を持ち、特に動きのぼやけと困難な照明条件のシナリオにおいて、オブジェクト検出に最適である。
しかし、ほとんどの既存手法は、高度な検出バックボーンと早期集約関数による時空間表現の最適化を優先しているが、適応的なイベントサンプリングの重要な問題は、ほとんど未適応のままである。
スパーススパイク通信を通じてイベント駆動のパラダイムで動作するスパイキングニューラルネットワーク(SNN)は、この課題に対処するための自然なフィットとして現れます。
本研究では、スパイキングニューロンの神経力学が理想的な時間事象サンプリング器の動作と密接に一致していることを明らかにする。
そこで本研究では,時間記憶を付加した再帰的畳み込みSNNを活用する適応型サンプリングモジュールを提案する。
さらに、スパイクベースサンプリングモジュールで発生する電位分布の制御と性能劣化に対処するため、Residual potential Dropout (RPD) と Spike-Aware Training (SAT) を導入する。
イベントベース検出のためのニューロモルフィックデータセットの厳密なテストを通じて、既存のスパイクベースの手法を明らかに超越し、パラメータや時間ステップをはるかに少なくして優れた性能を実現した。
例えば、我々の手法は、パラメータを38 %削減し、3 つの時間ステップで、Gen1 データセットで 4.4 % mAP の改善を実現している。
さらに, 適応サンプリング手法の適用性および有効性は, 従来の非スパイキング検出モデルに対するさらなる検証を通じて示されるように, SNN を超えて拡張される。
関連論文リスト
- Few-shot Online Anomaly Detection and Segmentation [29.693357653538474]
本稿では,難易度の高いオンライン異常検出・セグメンテーション(FOADS)の課題に対処することに焦点を当てる。
FOADSフレームワークでは、モデルを数ショットの通常のデータセットでトレーニングし、その後、正常サンプルと異常サンプルの両方を含む未ラベルのストリーミングデータを活用することで、その能力の検査と改善を行う。
限られたトレーニングサンプルを用いた性能向上のために,ImageNetで事前学習したCNNから抽出したマルチスケール特徴埋め込みを用いて,ロバストな表現を得る。
論文 参考訳(メタデータ) (2024-03-27T02:24:00Z) - Efficient and Effective Time-Series Forecasting with Spiking Neural
Networks [50.195087118884665]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-02T16:23:50Z) - Event-based Shape from Polarization with Spiking Neural Networks [5.200503222390179]
表面正規化を効果的かつ効率的に行うために,シングルタイムステップとマルチタイムステップ・スパイキング・ユニセットを導入する。
本研究は,イベントベースセンシングにおけるSNNの進歩に寄与する。
論文 参考訳(メタデータ) (2023-12-26T14:43:26Z) - Split-Boost Neural Networks [1.1549572298362787]
本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。
このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。
提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
論文 参考訳(メタデータ) (2023-09-06T17:08:57Z) - An LSTM-Based Predictive Monitoring Method for Data with Time-varying
Variability [3.5246670856011035]
本稿では、繰り返し発生するニューラルネットワーク構造がプロセスを監視する能力について考察する。
本研究では,長期短期記憶(LSTM)予測間隔に基づく時間変動データに対する制御チャートを提案する。
提案手法は時系列センサデータにも適用され,本手法が異常検出に有効な手法であることを確認した。
論文 参考訳(メタデータ) (2023-09-05T06:13:09Z) - Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-08-18T13:13:09Z) - Spatio-Temporal Point Process for Multiple Object Tracking [30.041104276095624]
多重オブジェクト追跡(MOT)は、連続するフレーム間の検出対象の関係をモデル化し、それらを異なる軌道にマージすることに焦点を当てている。
本稿では,物体を軌道に関連付ける前に,ノイズを効果的に予測し,マスクアウトし,検出結果を混乱させる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-05T18:14:08Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳(メタデータ) (2021-05-03T07:23:39Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。
基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
論文 参考訳(メタデータ) (2020-02-21T23:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。