論文の概要: Training Energy-Efficient Deep Spiking Neural Networks with
Time-to-First-Spike Coding
- arxiv url: http://arxiv.org/abs/2106.02568v1
- Date: Fri, 4 Jun 2021 16:02:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 21:13:48.527328
- Title: Training Energy-Efficient Deep Spiking Neural Networks with
Time-to-First-Spike Coding
- Title（参考訳）: 時間対ファーストスパイク符号化によるエネルギー効率の高いディープスパイクニューラルネットワーク
- Authors: Seongsik Park, Sungroh Yoon
- Abstract要約: スパイキングニューラルネットワーク(SNN)は人間の脳の動作を模倣する。
ディープラーニングでは、ディープニューラルネットワーク(DNN)が深刻な問題になっている。
本稿では,TTFS符号化を用いたエネルギー効率の高い深部SNNの学習手法を提案する。
- 参考スコア（独自算出の注目度）: 29.131030799324844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The tremendous energy consumption of deep neural networks (DNNs) has become a
serious problem in deep learning. Spiking neural networks (SNNs), which mimic
the operations in the human brain, have been studied as prominent
energy-efficient neural networks. Due to their event-driven and
spatiotemporally sparse operations, SNNs show possibilities for
energy-efficient processing. To unlock their potential, deep SNNs have adopted
temporal coding such as time-to-first-spike (TTFS)coding, which represents the
information between neurons by the first spike time. With TTFS coding, each
neuron generates one spike at most, which leads to a significant improvement in
energy efficiency. Several studies have successfully introduced TTFS coding in
deep SNNs, but they showed restricted efficiency improvement owing to the lack
of consideration for efficiency during training. To address the aforementioned
issue, this paper presents training methods for energy-efficient deep SNNs with
TTFS coding. We introduce a surrogate DNN model to train the deep SNN in a
feasible time and analyze the effect of the temporal kernel on training
performance and efficiency. Based on the investigation, we propose
stochastically relaxed activation and initial value-based regularization for
the temporal kernel parameters. In addition, to reduce the number of spikes
even further, we present temporal kernel-aware batch normalization. With the
proposed methods, we could achieve comparable training results with
significantly reduced spikes, which could lead to energy-efficient deep SNNs.
- Abstract（参考訳）: 深層ニューラルネットワーク(dnn)の膨大なエネルギー消費は、ディープラーニングにおいて深刻な問題となっている。
ヒト脳の動作を模倣するスパイキングニューラルネットワーク(SNN)は、エネルギー効率のよい神経ネットワークとして研究されている。
イベント駆動で時空間的にスパースな操作のため、SNNはエネルギー効率の高い処理の可能性を示す。
彼らの可能性を解き明かすため、ディープSNNは、最初のスパイク時間でニューロン間の情報を表すTTFS符号化のような時間符号化を採用した。
TTFSコーディングでは、各ニューロンが最大で1つのスパイクを生成し、エネルギー効率が大幅に向上する。
いくつかの研究はディープSNNでTTFSコーディングを導入したが、トレーニング中の効率の考慮が欠如しているため、効率の改善が制限された。
本稿では,TTFS符号化を用いたエネルギー効率の高い深部SNNのトレーニング手法を提案する。
本研究では,深部SNNを訓練可能な時間で訓練するための代理DNNモデルを導入し,時間的カーネルが訓練性能と効率に与える影響を解析する。
本研究では,時間的カーネルパラメータに対する確率的に緩和されたアクティベーションと初期値に基づく正規化を提案する。
さらに,スパイク数をさらに削減するため,時間的カーネル対応バッチ正規化を提案する。
提案手法により, スパイクを著しく低減し, エネルギー効率の高い深層snsを実現することが可能となった。
関連論文リスト
- ETTFS: An Efficient Training Framework for Time-to-First-Spike Neuron [38.194529226257735]
TTFS(Time-to-First-Spike)コーディングでは、ニューロンは推論中に一度だけ発火し、スパイク数を削減し、エネルギー効率を向上し、処理を高速化する。
本稿では,TTFSの効率的なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-31T04:14:47Z) - LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳（メタデータ） (2023-10-23T14:26:16Z) - High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である
深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。
我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
論文 参考訳（メタデータ） (2023-06-14T21:01:35Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking
Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。
スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。
実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文 参考訳（メタデータ） (2022-09-21T21:17:56Z) - Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳（メタデータ） (2022-01-21T16:42:11Z) - Revisiting Batch Normalization for Training Low-latency Deep Spiking
Neural Networks from Scratch [5.511606249429581]
ディープラーニングの代替手段としてスパイキングニューラルネットワーク(SNN)が登場している。
スクラッチからの高精度で低遅延のSNNは、スパイキングニューロンの非分化性の性質に悩まされる。
本稿では、時間的SNNのトレーニングのための時間的バッチ正規化(BNTT)手法を提案する。
論文 参考訳（メタデータ） (2020-10-05T00:49:30Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。
提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
論文 参考訳（メタデータ） (2020-03-26T04:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。