論文の概要: Automotive Object Detection via Learning Sparse Events by Temporal
Dynamics of Spiking Neurons
- arxiv url: http://arxiv.org/abs/2307.12900v1
- Date: Mon, 24 Jul 2023 15:47:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 13:42:42.539634
- Title: Automotive Object Detection via Learning Sparse Events by Temporal
Dynamics of Spiking Neurons
- Title(参考訳): スパイクニューロンの時間ダイナミクスによるスパースイベント学習による自動車物体検出
- Authors: Hu Zhang, Luziwei Leng, Kaiwei Che, Qian Liu, Jie Cheng, Qinghai Guo,
Jiangxing Liao, Ran Cheng
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、イベントベースのデータを表現するのに適している。
イベントベース物体検出のための効率的なスパイキング特徴ピラミッドネットワークを開発した。
- 参考スコア(独自算出の注目度): 8.500918603830398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event-based sensors, with their high temporal resolution (1us) and dynamical
range (120dB), have the potential to be deployed in high-speed platforms such
as vehicles and drones. However, the highly sparse and fluctuating nature of
events poses challenges for conventional object detection techniques based on
Artificial Neural Networks (ANNs). In contrast, Spiking Neural Networks (SNNs)
are well-suited for representing event-based data due to their inherent
temporal dynamics. In particular, we demonstrate that the membrane potential
dynamics can modulate network activity upon fluctuating events and strengthen
features of sparse input. In addition, the spike-triggered adaptive threshold
can stabilize training which further improves network performance. Based on
this, we develop an efficient spiking feature pyramid network for event-based
object detection. Our proposed SNN outperforms previous SNNs and sophisticated
ANNs with attention mechanisms, achieving a mean average precision (map50) of
47.7% on the Gen1 benchmark dataset. This result significantly surpasses the
previous best SNN by 9.7% and demonstrates the potential of SNNs for
event-based vision. Our model has a concise architecture while maintaining high
accuracy and much lower computation cost as a result of sparse computation. Our
code will be publicly available.
- Abstract(参考訳): イベントベースのセンサーは、その高時間分解能(1us)とダイナミックレンジ(120dB)を持ち、車両やドローンなどの高速プラットフォームにデプロイされる可能性がある。
しかし、イベントの非常にばらばらで変動する性質は、ニューラルネットワーク(anns)に基づく従来の物体検出技術にとって課題となる。
対照的に、スパイキングニューラルネットワーク(SNN)は、イベントベースのデータを表現するのに適している。
特に, 膜電位ダイナミクスは, 変動するイベントのネットワーク活動を変調し, スパース入力の特徴を強くすることを示した。
さらに、スパイクトリガー適応閾値は、ネットワーク性能をさらに向上させるトレーニングを安定化させることができる。
これに基づいて,イベントベースオブジェクト検出のための効率的なスパイキング機能ピラミッドネットワークを開発した。
提案したSNNは,Gen1ベンチマークデータセットの平均精度(map50)を47.7%達成し,従来のSNNと高度なANNよりも優れた性能を示した。
この結果は、以前の最高のSNNを9.7%上回り、イベントベースのビジョンのためのSNNの可能性を示している。
我々のモデルは、スパース計算の結果、高精度で計算コストをはるかに低く保ちながら、簡潔なアーキテクチャを持つ。
私たちのコードは公開されます。
関連論文リスト
- SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - Accurate and Efficient Event-based Semantic Segmentation Using Adaptive
Spiking Encoder-Decoder Network [10.77500756739271]
本稿では,大規模なイベントベースセマンティックセマンティックセグメンテーションタスクのために設計された,効率的なスパイキングエンコーダデコーダネットワークを提案する。
動的イベントストリームからの学習を強化するために,スパイキングニューロンの固有適応しきい値を用いてネットワークの活性化を変調する。
提案したネットワークは、DDD17データセット上での平均的結合(MIoU)が72.57%、最近導入された大規模なDSEC-Semanticデータセット上で57.22%のMIoUを実現している。
論文 参考訳(メタデータ) (2023-04-24T07:12:50Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳(メタデータ) (2022-09-27T15:04:01Z) - Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking
Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。
スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。
実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文 参考訳(メタデータ) (2022-09-21T21:17:56Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳(メタデータ) (2022-06-26T16:00:22Z) - Object Detection with Spiking Neural Networks on Automotive Event Data [0.0]
我々は、イベントカメラから直接スパイキングニューラルネットワーク(SNN)を訓練し、高速で効率的な自動車組込みアプリケーションを設計することを提案する。
本稿では,2つの自動車イベントデータセットの実験を行い,スパイクニューラルネットワークのための最先端の分類結果を確立した。
論文 参考訳(メタデータ) (2022-05-09T14:39:47Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - RAMP-CNN: A Novel Neural Network for Enhanced Automotive Radar Object
Recognition [10.006245521984697]
本稿では,オブジェクトの位置とクラスを抽出するマルチパースペクティブ・畳み込みニューラルネットワーク(RAMP-CNN)を提案する。
4次元畳み込みニューラルネットワーク(NN)の複雑さを回避するため、RAMP-CNNモデルにいくつかの低次元NNモデルを組み合わせることを提案する。
提案したRAMP-CNNモデルは、すべてのテストシナリオにおける以前の作業よりも平均リコールと平均精度が向上する。
論文 参考訳(メタデータ) (2020-11-13T19:12:12Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。