論文の概要: TopSpark: A Timestep Optimization Methodology for Energy-Efficient
Spiking Neural Networks on Autonomous Mobile Agents
- arxiv url: http://arxiv.org/abs/2303.01826v1
- Date: Fri, 3 Mar 2023 10:20:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-06 15:36:00.355902
- Title: TopSpark: A Timestep Optimization Methodology for Energy-Efficient
Spiking Neural Networks on Autonomous Mobile Agents
- Title（参考訳）: TopSpark: 自律移動エージェント上でのエネルギー効率の高いスパイクニューラルネットワークのタイムステップ最適化手法
- Authors: Rachmad Vidya Wicaksana Putra, Muhammad Shafique
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、スパース計算と効率的なオンライン学習による低消費電力/エネルギー処理を提供する。
トレーニングと推論の両方においてエネルギー効率のよいSNN処理を実現するため,TopSparkを提案する。
- 参考スコア（独自算出の注目度）: 14.916996986290902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous mobile agents require low-power/energy-efficient machine learning
(ML) algorithms to complete their ML-based tasks while adapting to diverse
environments, as mobile agents are usually powered by batteries. These
requirements can be fulfilled by Spiking Neural Networks (SNNs) as they offer
low power/energy processing due to their sparse computations and efficient
online learning with bio-inspired learning mechanisms for adapting to different
environments. Recent works studied that the energy consumption of SNNs can be
optimized by reducing the computation time of each neuron for processing a
sequence of spikes (timestep). However, state-of-the-art techniques rely on
intensive design searches to determine fixed timestep settings for only
inference, thereby hindering SNNs from achieving further energy efficiency
gains in both training and inference. These techniques also restrict SNNs from
performing efficient online learning at run time. Toward this, we propose
TopSpark, a novel methodology that leverages adaptive timestep reduction to
enable energy-efficient SNN processing in both training and inference, while
keeping its accuracy close to the accuracy of SNNs without timestep reduction.
The ideas of TopSpark include analyzing the impact of different timesteps on
the accuracy; identifying neuron parameters that have a significant impact on
accuracy in different timesteps; employing parameter enhancements that make
SNNs effectively perform learning and inference using less spiking activity;
and developing a strategy to trade-off accuracy, latency, and energy to meet
the design requirements. The results show that, TopSpark saves the SNN latency
by 3.9x as well as energy consumption by 3.5x for training and 3.3x for
inference on average, across different network sizes, learning rules, and
workloads, while maintaining the accuracy within 2% of SNNs without timestep
reduction.
- Abstract（参考訳）: 自律移動エージェントは、低消費電力/エネルギー効率の機械学習(ml)アルゴリズムが必要であり、移動エージェントは通常バッテリーで駆動されるため、多様な環境に適応しながらmlベースのタスクを完了させる。
これらの要件は、スパース計算による低消費電力/エネルギー処理と、異なる環境に適応するためのバイオインスパイアされた学習メカニズムによる効率的なオンライン学習を提供することにより、スパイキングニューラルネットワーク(SNN)によって満たされる。
最近の研究では、スパイクのシーケンス(時間ステップ)を処理するために各ニューロンの計算時間を短縮することで、snsのエネルギー消費を最適化できることが研究されている。
しかし、最先端技術は、推論のみの固定時間ステップ設定を決定するために集中的な設計探索に依存しており、SNNがトレーニングと推論の両方において更なるエネルギー効率向上を達成するのを妨げている。
これらの技術は、SNNが実行時に効率的なオンライン学習を行うのを防ぐ。
そこで我々は,TopSparkを提案する。TopSparkは適応時間ステップの削減を利用して,トレーニングと推論の両方においてエネルギー効率のよいSNN処理を実現し,その精度を時間ステップの削減なしにSNNの精度に近づける。
TopSparkのアイデアには、異なるタイムステップの精度への影響を分析すること、異なるタイムステップの精度に重大な影響を与えるニューロンパラメータを特定すること、SNNがスパイキングアクティビティを減らして学習と推論を効果的に実行するパラメータ拡張を使用すること、設計要件を満たすための正確性、レイテンシ、エネルギーのトレードオフ戦略の開発が含まれる。
結果は、TopSparkがSNNのレイテンシを3.9倍、トレーニングで3.5倍、ネットワークサイズ、学習ルール、ワークロードで3.3倍削減し、タイムステップの削減なしにSNNの2%以内の精度を維持していることを示している。
関連論文リスト
- LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization [51.9395471326897]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitESNNという新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-01-26T05:23:11Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for
Efficient Unsupervised Continual Learning on Autonomous Agents [14.916996986290902]
効率的な教師なし連続学習のための低精度SNN処理を可能にする新しい手法であるlpSpikeConを提案する。
我々のlpSpikeConは、教師なし連続学習によるオンライントレーニングを行うために、SNNモデルの重量記憶を8倍(すなわち、4ビットの重みを司法的に採用することで)削減することができる。
論文 参考訳（メタデータ） (2022-05-24T18:08:16Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Low-Precision Training in Logarithmic Number System using Multiplicative
Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。
エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。
対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文 参考訳（メタデータ） (2021-06-26T00:32:17Z) - SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with
Continual and Unsupervised Learning Capabilities in Dynamic Environments [14.727296040550392]
スパイキングニューラルネットワーク(SNN)は、生物学的妥当性のため、効率的な教師なしおよび継続的な学習能力の可能性を秘めている。
動的環境下での継続学習と教師なし学習機能を備えたエネルギー効率の高いSNNのためのフレームワークであるSpikeDynを提案する。
論文 参考訳（メタデータ） (2021-02-28T08:26:23Z) - Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。
DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。
凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
論文 参考訳（メタデータ） (2020-11-17T10:23:28Z) - FSpiNN: An Optimization Framework for Memory- and Energy-Efficient
Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。
しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。
トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
論文 参考訳（メタデータ） (2020-07-17T09:40:26Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。