Fugu-MT 論文翻訳(概要): SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments

論文の概要: SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments

arxiv url: http://arxiv.org/abs/2103.00424v1
Date: Sun, 28 Feb 2021 08:26:23 GMT
ステータス: 処理完了
システム内更新日: 2021-03-03 17:03:07.229960
Title: SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments
Title（参考訳）: SpikeDyn: 動的環境における継続的および教師なし学習能力を備えたエネルギー効率の高いスパイクニューラルネットワークのフレームワーク
Authors: Rachmad Vidya Wicaksana Putra, Muhammad Shafique
Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物学的妥当性のため、効率的な教師なしおよび継続的な学習能力の可能性を秘めている。動的環境下での継続学習と教師なし学習機能を備えたエネルギー効率の高いSNNのためのフレームワークであるSpikeDynを提案する。
参考スコア（独自算出の注目度）: 14.727296040550392
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Spiking Neural Networks (SNNs) bear the potential of efficient unsupervised and continual learning capabilities because of their biological plausibility, but their complexity still poses a serious research challenge to enable their energy-efficient design for resource-constrained scenarios (like embedded systems, IoT-Edge, etc.). We propose SpikeDyn, a comprehensive framework for energy-efficient SNNs with continual and unsupervised learning capabilities in dynamic environments, for both the training and inference phases. It is achieved through the following multiple diverse mechanisms: 1) reduction of neuronal operations, by replacing the inhibitory neurons with direct lateral inhibitions; 2) a memory- and energy-constrained SNN model search algorithm that employs analytical models to estimate the memory footprint and energy consumption of different candidate SNN models and selects a Pareto-optimal SNN model; and 3) a lightweight continual and unsupervised learning algorithm that employs adaptive learning rates, adaptive membrane threshold potential, weight decay, and reduction of spurious updates. Our experimental results show that, for a network with 400 excitatory neurons, our SpikeDyn reduces the energy consumption on average by 51% for training and by 37% for inference, as compared to the state-of-the-art. Due to the improved learning algorithm, SpikeDyn provides on avg. 21% accuracy improvement over the state-of-the-art, for classifying the most recently learned task, and by 8% on average for the previously learned tasks.
Abstract（参考訳）: Spiking Neural Networks(SNN)は、生物学的な可能性のために効率的な教師なしおよび継続的な学習能力を持つ可能性がありますが、その複雑さは、リソース制約のあるシナリオ(組み込みシステム、IoT-Edgeなど)のエネルギー効率の高い設計を可能にするための深刻な研究課題です。本研究では,動的環境下での非教師なし学習機能を備えたエネルギー効率の高いSNNのための総合的なフレームワークであるSpikeDynを提案する。 It is achieved through the following multiple diverse mechanisms: 1) reduction of neuronal operations, by replacing the inhibitory neurons with direct lateral inhibitions; 2) a memory- and energy-constrained SNN model search algorithm that employs analytical models to estimate the memory footprint and energy consumption of different candidate SNN models and selects a Pareto-optimal SNN model; and 3) a lightweight continual and unsupervised learning algorithm that employs adaptive learning rates, adaptive membrane threshold potential, weight decay, and reduction of spurious updates. 実験の結果,400個の興奮ニューロンを持つネットワークでは,SpykeDynはトレーニングで平均51%,推論で平均37%のエネルギー消費を減少させることがわかった。学習アルゴリズムの改善により、SpikeDynはavgを提供する。 21%の精度向上で,最新の学習タスクを分類し,前回の学習タスクでは平均8%向上した。

関連論文リスト

Enabling energy-Efficient object detection with surrogate gradient descent in spiking neural networks [0.40054215937601956]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、イベント駆動処理と処理時情報の両方において、生物学的にもっとも有効なニューラルネットワークモデルである。本研究では,オブジェクト検出タスクにおける深部SNNのトレーニングを容易にするために,回帰問題を解くCurrent Mean Decoding(CMD)手法を提案する。勾配サロゲートとCMDに基づいて,物体検出のためのSNN-YOLOv3モデルを提案する。
論文参考訳（メタデータ） (2023-09-07T15:48:00Z)
A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文参考訳（メタデータ） (2023-05-26T02:52:12Z)
TopSpark: A Timestep Optimization Methodology for Energy-Efficient Spiking Neural Networks on Autonomous Mobile Agents [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパース計算と効率的なオンライン学習による低消費電力/エネルギー処理を提供する。 TopSparkは、適応タイムステップの削減を利用して、トレーニングと推論の両方でエネルギー効率の良いSNN処理を可能にする新しい手法である。
論文参考訳（メタデータ） (2023-03-03T10:20:45Z)
SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文参考訳（メタデータ） (2023-02-01T04:22:59Z)
lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for Efficient Unsupervised Continual Learning on Autonomous Agents [14.916996986290902]
効率的な教師なし連続学習のための低精度SNN処理を可能にする新しい手法であるlpSpikeConを提案する。我々のlpSpikeConは、教師なし連続学習によるオンライントレーニングを行うために、SNNモデルの重量記憶を8倍(すなわち、4ビットの重みを司法的に採用することで)削減することができる。
論文参考訳（メタデータ） (2022-05-24T18:08:16Z)
Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文参考訳（メタデータ） (2022-01-21T16:42:11Z)
Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。学習過程において隠れた層内のニューロンの多様性を探索する。ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文参考訳（メタデータ） (2021-09-20T15:12:16Z)
Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
論文参考訳（メタデータ） (2020-11-17T10:23:28Z)
FSpiNN: An Optimization Framework for Memory- and Energy-Efficient Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
論文参考訳（メタデータ） (2020-07-17T09:40:26Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。