論文の概要: Exploring Tradeoffs in Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2212.09500v2
- Date: Thu, 18 May 2023 08:48:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 20:21:33.278500
- Title: Exploring Tradeoffs in Spiking Neural Networks
- Title（参考訳）: スパイクニューラルネットワークにおけるトレードオフの探求
- Authors: Florian Bacho and Dominique Chu
- Abstract要約: Spiking Neural Networks(SNN)は、低消費電力コンピューティングのための従来のDeep Neural Networksに代わる有望な代替品として登場した。
スパイク制約の緩和は、より高速な収束、類似の空間性、同等の予測遅延、TTFS SNNと比較してノイズに対するロバスト性の向上といったメリットを享受しつつ、より高いパフォーマンスを提供することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Spiking Neural Networks (SNNs) have emerged as a promising alternative to
traditional Deep Neural Networks for low-power computing. However, the
effectiveness of SNNs is not solely determined by their performance but also by
their energy consumption, prediction speed, and robustness to noise. The recent
method Fast \& Deep, along with others, achieves fast and energy-efficient
computation by constraining neurons to fire at most once. Known as
Time-To-First-Spike (TTFS), this constraint however restricts the capabilities
of SNNs in many aspects. In this work, we explore the relationships between
performance, energy consumption, speed and stability when using this
constraint. More precisely, we highlight the existence of tradeoffs where
performance and robustness are gained at the cost of sparsity and prediction
latency. To improve these tradeoffs, we propose a relaxed version of Fast \&
Deep that allows for multiple spikes per neuron. Our experiments show that
relaxing the spike constraint provides higher performance while also benefiting
from faster convergence, similar sparsity, comparable prediction latency, and
better robustness to noise compared to TTFS SNNs. By highlighting the
limitations of TTFS and demonstrating the advantages of unconstrained SNNs we
provide valuable insight for the development of effective learning strategies
for neuromorphic computing.
- Abstract（参考訳）: Spiking Neural Networks(SNN)は、低消費電力コンピューティングのための従来のDeep Neural Networksに代わる有望な代替品として登場した。
しかしながら、SNNの有効性は、その性能だけでなく、そのエネルギー消費、予測速度、騒音に対する堅牢性によって決定される。
最近のFast \& Deep法は、他の方法と同様に、ニューロンを最大で一度に発火させることにより、高速でエネルギー効率の高い計算を実現する。
Time-To-First-Spike (TTFS)として知られるこの制約は、多くの面でSNNの機能を制限する。
本研究では, この制約を用いた場合の性能, エネルギー消費, 速度, 安定性の関係を考察する。
より正確には、スパーシリティと予測遅延のコストでパフォーマンスと堅牢性を得られるトレードオフの存在を強調します。
これらのトレードオフを改善するために,ニューロン毎の複数のスパイクを可能にするFast \& Deepの緩和版を提案する。
我々の実験は、スパイク制約の緩和は、より高速な収束、類似の空間性、同等の予測遅延、TTFS SNNと比較してノイズに対する堅牢性の向上といった利点を享受しつつ、より高い性能を提供することを示した。
TTFSの限界を強調し、制約のないSNNの利点を実証することにより、ニューロモルフィックコンピューティングのための効果的な学習戦略の開発に貴重な洞察を提供する。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳（メタデータ） (2023-10-23T14:26:16Z) - Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。
本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。
本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
論文 参考訳（メタデータ） (2023-08-16T08:58:25Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳（メタデータ） (2021-12-12T17:13:14Z) - Training Energy-Efficient Deep Spiking Neural Networks with
Time-to-First-Spike Coding [29.131030799324844]
スパイキングニューラルネットワーク(SNN)は人間の脳の動作を模倣する。
ディープラーニングでは、ディープニューラルネットワーク(DNN)が深刻な問題になっている。
本稿では,TTFS符号化を用いたエネルギー効率の高い深部SNNの学習手法を提案する。
論文 参考訳（メタデータ） (2021-06-04T16:02:27Z) - Sparse Spiking Gradient Descent [2.741266294612776]
本稿では,従来の手法と同等あるいはより高精度なSNNバックプロパゲーションアルゴリズムを提案する。
本稿では,複雑性の異なる実データセットに対する本手法の有効性を示す。
論文 参考訳（メタデータ） (2021-05-18T20:00:55Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z) - T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。
提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
論文 参考訳（メタデータ） (2020-03-26T04:39:12Z) - Inherent Adversarial Robustness of Deep Spiking Neural Networks: Effects
of Discrete Input Encoding and Non-Linear Activations [9.092733355328251]
スパイキングニューラルネットワーク(SNN)は、敵対的攻撃に対する固有の堅牢性の候補である。
本研究では、勾配に基づく攻撃によるSNNの対向精度が、非スパイク攻撃よりも高いことを示す。
論文 参考訳（メタデータ） (2020-03-23T17:20:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。