論文の概要: FastSpiker: Enabling Fast Training for Spiking Neural Networks on Event-based Data through Learning Rate Enhancements for Autonomous Embedded Systems
- arxiv url: http://arxiv.org/abs/2407.05262v1
- Date: Sun, 7 Jul 2024 05:17:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 20:27:05.607080
- Title: FastSpiker: Enabling Fast Training for Spiking Neural Networks on Event-based Data through Learning Rate Enhancements for Autonomous Embedded Systems
- Title（参考訳）: FastSpiker: 自律組み込みシステムの学習速度向上によるイベントベースデータ上でニューラルネットワークをスパイクするための高速トレーニングの実現
- Authors: Iqra Bano, Rachmad Vidya Wicaksana Putra, Alberto Marchisio, Muhammad Shafique,
- Abstract要約: FastSpikerは、学習率の強化を通じて、イベントベースのデータに対する高速SNNトレーニングを可能にする、新しい方法論である。
我々は、FastSpikerが最大10.5倍高速なトレーニング時間と88.39%低い二酸化炭素排出量を提供し、イベントベースの自動車データセットの最先端または同等の精度を達成することを示した。
- 参考スコア（独自算出の注目度）: 5.59354286094951
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous embedded systems (e.g., robots) typically necessitate intelligent computation with low power/energy processing for completing their tasks. Such requirements can be fulfilled by embodied neuromorphic intelligence with spiking neural networks (SNNs) because of their high learning quality (e.g., accuracy) and sparse computation. Here, the employment of event-based data is preferred to ensure seamless connectivity between input and processing parts. However, state-of-the-art SNNs still face a long training time to achieve high accuracy, thereby incurring high energy consumption and producing a high rate of carbon emission. Toward this, we propose FastSpiker, a novel methodology that enables fast SNN training on event-based data through learning rate enhancements targeting autonomous embedded systems. In FastSpiker, we first investigate the impact of different learning rate policies and their values, then select the ones that quickly offer high accuracy. Afterward, we explore different settings for the selected learning rate policies to find the appropriate policies through a statistical-based decision. Experimental results show that our FastSpiker offers up to 10.5x faster training time and up to 88.39% lower carbon emission to achieve higher or comparable accuracy to the state-of-the-art on the event-based automotive dataset (i.e., NCARS). In this manner, our FastSpiker methodology paves the way for green and sustainable computing in realizing embodied neuromorphic intelligence for autonomous embedded systems.
- Abstract（参考訳）: 自律的な組み込みシステム(例えばロボット)は、通常、タスクを完了するには、低電力/エネルギー処理によるインテリジェントな計算を必要とする。
このような要求は、高い学習品質(例えば精度)とスパース計算のため、スパイクニューラルネットワーク(SNN)を具現化したニューロモルフィックインテリジェンスによって満たされる。
ここでは、入力と処理部品間のシームレスな接続を確保するために、イベントベースのデータの利用が好ましい。
しかし、最先端のSNNは高い精度を達成するために長い訓練期間を要し、高いエネルギー消費を発生させ、高い炭素排出量を発生させる。
そこで本研究では,自律型組込みシステムを対象とした学習率向上を通じて,イベントベースデータの高速SNNトレーニングを可能にする新しい手法であるFastSpikerを提案する。
FastSpikerでは、まず異なる学習率ポリシーとその値の影響を調査し、次に高い精度を提供するものを選択する。
その後、選択した学習率政策の異なる設定を探索し、統計に基づく決定を通じて適切な政策を求める。
実験の結果、FastSpikerはトレーニング時間を最大10.5倍、二酸化炭素排出量を最大88.39%削減し、イベントベースの自動車データセット(NAARS)の最先端または同等の精度を実現していることがわかった。
このようにして、私たちのFastSpiker方法論は、自律的な組み込みシステムのための具体的ニューロモルフィックインテリジェンスを実現するための、グリーンで持続可能なコンピューティングの道を開く。
関連論文リスト
- Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。
本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。
提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
論文 参考訳（メタデータ） (2024-04-26T22:52:23Z) - A Methodology to Study the Impact of Spiking Neural Network Parameters considering Event-Based Automotive Data [5.59354286094951]
本稿では,イベントベース自動車データを考慮したSNNパラメータの影響を系統的に研究し,分析する手法を提案する。
本稿では,自律走行システムのSNNモデルを改善する手法を提案する。
本研究は,SNNパラメータ拡張のための一連のガイドラインを提供し,SNNベースのADシステムの実用化を可能にする。
論文 参考訳（メタデータ） (2024-04-04T14:48:26Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - Machine Learning aided Computer Architecture Design for CNN Inferencing
Systems [0.0]
我々は,それぞれ5.03%,5.94%のMAPEを用いて,推論中のCNNのパワーと性能を予測する手法を開発した。
我々のアプローチは、コンピュータアーキテクトが開発初期段階のパワーと性能を見積もることを可能にし、多くのプロトタイプの必要性を減らします。
論文 参考訳（メタデータ） (2023-08-10T06:17:46Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳（メタデータ） (2022-01-21T16:42:11Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - Incorporating Learnable Membrane Time Constant to Enhance Learning of
Spiking Neural Networks [36.16846259899793]
スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力、消費電力の低さ、高い生物学的信頼性により、膨大な研究関心を集めている。
既存の学習方法はウェイトのみを学習し、単一のスパイキングニューロンのダイナミクスを決定する膜関連パラメータを手動でチューニングする必要がある。
本稿では,脳の領域で膜関連パラメータが異なることの観察から着想を得て,シナプス重みだけでなく,SNNの膜時間定数も学習可能なトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-11T14:35:42Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Temporal Pulses Driven Spiking Neural Network for Fast Object
Recognition in Autonomous Driving [65.36115045035903]
スパイキングニューラルネットワーク(SNN)を用いた生時間パルスで直接物体認識問題に対処する手法を提案する。
各種データセットを用いて評価した結果,提案手法は最先端の手法に匹敵する性能を示しながら,優れた時間効率を実現している。
論文 参考訳（メタデータ） (2020-01-24T22:58:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。