論文の概要: lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for
Efficient Unsupervised Continual Learning on Autonomous Agents
- arxiv url: http://arxiv.org/abs/2205.12295v1
- Date: Tue, 24 May 2022 18:08:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 13:33:36.896347
- Title: lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for
Efficient Unsupervised Continual Learning on Autonomous Agents
- Title（参考訳）: lpSpikeCon: 自律エージェントによる効率的な教師なし連続学習のための低精度スパイクニューラルネットワーク処理の実現
- Authors: Rachmad Vidya Wicaksana Putra, Muhammad Shafique
- Abstract要約: 効率的な教師なし連続学習のための低精度SNN処理を可能にする新しい手法であるlpSpikeConを提案する。
我々のlpSpikeConは、教師なし連続学習によるオンライントレーニングを行うために、SNNモデルの重量記憶を8倍(すなわち、4ビットの重みを司法的に採用することで)削減することができる。
- 参考スコア（独自算出の注目度）: 14.916996986290902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances have shown that SNN-based systems can efficiently perform
unsupervised continual learning due to their bio-plausible learning rule, e.g.,
Spike-Timing-Dependent Plasticity (STDP). Such learning capabilities are
especially beneficial for use cases like autonomous agents (e.g., robots and
UAVs) that need to continuously adapt to dynamically changing
scenarios/environments, where new data gathered directly from the environment
may have novel features that should be learned online. Current state-of-the-art
works employ high-precision weights (i.e., 32 bit) for both training and
inference phases, which pose high memory and energy costs thereby hindering
efficient embedded implementations of such systems for battery-driven mobile
autonomous systems. On the other hand, precision reduction may jeopardize the
quality of unsupervised continual learning due to information loss. Towards
this, we propose lpSpikeCon, a novel methodology to enable low-precision SNN
processing for efficient unsupervised continual learning on
resource-constrained autonomous agents/systems. Our lpSpikeCon methodology
employs the following key steps: (1) analyzing the impacts of training the SNN
model under unsupervised continual learning settings with reduced weight
precision on the inference accuracy; (2) leveraging this study to identify SNN
parameters that have a significant impact on the inference accuracy; and (3)
developing an algorithm for searching the respective SNN parameter values that
improve the quality of unsupervised continual learning. The experimental
results show that our lpSpikeCon can reduce weight memory of the SNN model by
8x (i.e., by judiciously employing 4-bit weights) for performing online
training with unsupervised continual learning and achieve no accuracy loss in
the inference phase, as compared to the baseline model with 32-bit weights
across different network sizes.
- Abstract（参考訳）: 近年の進歩により,SNNベースのシステムでは,Spike-Timing-Dependent Plasticity (STDP) などの生物工学的学習規則により,教師なし連続学習を効率的に行うことが示されている。
このような学習能力は、動的に変化するシナリオや環境に継続的に適応する必要がある自律エージェント(例えばロボットやUAV)のようなユースケースにおいて特に有用である。
現在の最先端の作品は、トレーニングと推論フェーズの両方に高精度の重み(すなわち32ビット)を使用しており、これは高いメモリとエネルギーコストをもたらし、バッテリ駆動のモバイル自律システムのためのそのようなシステムの効率的な組み込み実装を妨げる。
一方で、精度の低下は、情報損失による教師なし連続学習の品質を損なう可能性がある。
そこで本研究では,資源制約された自律エージェント/システム上での効率的な教師なし連続学習のために,低精度SNN処理を可能にする新しい手法であるlpSpikeConを提案する。
pSpikeCon法では,(1)教師なし連続学習環境下でのSNNモデルの学習が推論精度に与える影響を分析すること,(2)推論精度に重要な影響を及ぼすSNNパラメータを特定すること,(3)教師なし連続学習の質を向上させるために,それぞれのSNNパラメータ値を探索するアルゴリズムを開発すること,の3つのステップが採用されている。
実験結果から,LpSpikeConは,教師なし連続学習によるオンライントレーニングを行う場合,SNNモデルの重み記憶を8倍(すなわち4ビット重み付け)削減でき,ネットワークサイズが異なるベースラインモデルと比較して,推論フェーズにおける精度損失を生じないことがわかった。
関連論文リスト
- A Methodology to Study the Impact of Spiking Neural Network Parameters considering Event-Based Automotive Data [5.59354286094951]
本稿では,イベントベース自動車データを考慮したSNNパラメータの影響を系統的に研究し,分析する手法を提案する。
本稿では,自律走行システムのSNNモデルを改善する手法を提案する。
本研究は,SNNパラメータ拡張のための一連のガイドラインを提供し,SNNベースのADシステムの実用化を可能にする。
論文 参考訳（メタデータ） (2024-04-04T14:48:26Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - An Unsupervised STDP-based Spiking Neural Network Inspired By
Biologically Plausible Learning Rules and Connections [10.188771327458651]
スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。
我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。
我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-07-06T14:53:32Z) - Recursive Least-Squares Estimator-Aided Online Learning for Visual
Tracking [58.14267480293575]
オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。
これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。
我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
論文 参考訳（メタデータ） (2021-12-28T06:51:18Z) - Low-Precision Training in Logarithmic Number System using Multiplicative
Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。
エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。
対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文 参考訳（メタデータ） (2021-06-26T00:32:17Z) - SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with
Continual and Unsupervised Learning Capabilities in Dynamic Environments [14.727296040550392]
スパイキングニューラルネットワーク(SNN)は、生物学的妥当性のため、効率的な教師なしおよび継続的な学習能力の可能性を秘めている。
動的環境下での継続学習と教師なし学習機能を備えたエネルギー効率の高いSNNのためのフレームワークであるSpikeDynを提案する。
論文 参考訳（メタデータ） (2021-02-28T08:26:23Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。
DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。
凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
論文 参考訳（メタデータ） (2020-11-17T10:23:28Z) - FSpiNN: An Optimization Framework for Memory- and Energy-Efficient
Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。
しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。
トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
論文 参考訳（メタデータ） (2020-07-17T09:40:26Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。