論文の概要: Ternary Spike: Learning Ternary Spikes for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2312.06372v2
- Date: Sun, 17 Dec 2023 02:19:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 19:25:20.076129
- Title: Ternary Spike: Learning Ternary Spikes for Spiking Neural Networks
- Title（参考訳）: 三元スパイク:スパイクニューラルネットワークのための三元スパイクの学習
- Authors: Yufei Guo, Yuanpei Chen, Xiaode Liu, Weihang Peng, Yuhan Zhang, Xuhui
Huang, Zhe Ma
- Abstract要約: Spiking Neural Network(SNN)は、生物学的にインスパイアされたニューラルネットワーク基盤である。
本稿では,情報伝達のための3次スパイクニューロンを提案する。
3次スパイクは、常に最先端の手法より優れていることを示す。
- 参考スコア（独自算出の注目度）: 19.304952813634994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Spiking Neural Network (SNN), as one of the biologically inspired neural
network infrastructures, has drawn increasing attention recently. It adopts
binary spike activations to transmit information, thus the multiplications of
activations and weights can be substituted by additions, which brings high
energy efficiency. However, in the paper, we theoretically and experimentally
prove that the binary spike activation map cannot carry enough information,
thus causing information loss and resulting in accuracy decreasing. To handle
the problem, we propose a ternary spike neuron to transmit information. The
ternary spike neuron can also enjoy the event-driven and multiplication-free
operation advantages of the binary spike neuron but will boost the information
capacity. Furthermore, we also embed a trainable factor in the ternary spike
neuron to learn the suitable spike amplitude, thus our SNN will adopt different
spike amplitudes along layers, which can better suit the phenomenon that the
membrane potential distributions are different along layers. To retain the
efficiency of the vanilla ternary spike, the trainable ternary spike SNN will
be converted to a standard one again via a re-parameterization technique in the
inference. Extensive experiments with several popular network structures over
static and dynamic datasets show that the ternary spike can consistently
outperform state-of-the-art methods. Our code is open-sourced at
https://github.com/yfguo91/Ternary-Spike.
- Abstract（参考訳）: 生物学的にインスパイアされたニューラルネットワークインフラストラクチャの1つであるspyking neural network(snn)は、近年注目を集めている。
情報伝達にはバイナリスパイクアクティベーションを採用するため、活性化と重みの乗算は加算によって代用され、エネルギー効率が高い。
しかし,本稿では,バイナリスパイク活性化マップが十分な情報を運ぶことができず,情報損失が生じ,精度が低下することが理論的に実験的に証明されている。
この問題に対処するため,情報伝達のための3次スパイクニューロンを提案する。
三元スパイクニューロンは、二元スパイクニューロンのイベント駆動および乗算フリーな操作の利点を享受できるが、情報容量を増加させる。
さらに、学習可能な因子を3次スパイクニューロンに埋め込み、適切なスパイク振幅を学習することで、snは異なるスパイク振幅を層に沿って導入し、膜電位分布が層に沿って異なる現象に適合させることができる。
バニラ3次スパイクの効率を維持するため、トレーニング可能な3次スパイクSNNは推論における再パラメータ化手法により、標準スパイクに再変換される。
静的および動的データセット上のいくつかの一般的なネットワーク構造に関する広範囲な実験は、サーナリースパイクが最先端のメソッドを一貫して上回ることができることを示している。
私たちのコードはhttps://github.com/yfguo91/ternary-spikeでオープンソースです。
関連論文リスト
- Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - MSAT: Biologically Inspired Multi-Stage Adaptive Threshold for
Conversion of Spiking Neural Networks [11.392893261073594]
スパイキングニューラルネットワーク(SNN)はそのスパイク間隔のために低消費電力で推測できる。
ANN-SNN変換は、よく訓練されたニューラルネットワーク(ANN)を変換することでディープSNNを実現する効率的な方法である
既存の方法は、ニューロンがより深い層にスパイクを素早く届けるのを防ぐ変換に一定の閾値を使用するのが一般的である。
論文 参考訳（メタデータ） (2023-03-23T07:18:08Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Exploiting High Performance Spiking Neural Networks with Efficient
Spiking Patterns [4.8416725611508244]
スパイキングニューラルネットワーク(SNN)は、離散スパイクシーケンスを使用して情報を伝達し、脳の情報伝達を著しく模倣する。
本稿では、動的バーストパターンを導入し、短時間の性能と動的時間的性能のトレードオフを可能にするLeaky Integrate and Fire or Burst(LIFB)ニューロンを設計する。
論文 参考訳（メタデータ） (2023-01-29T04:22:07Z) - Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。
本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。
我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
論文 参考訳（メタデータ） (2022-11-10T08:32:13Z) - A temporally and spatially local spike-based backpropagation algorithm
to enable training in hardware [0.0]
Spiking Neural Networks (SNN)は、分類タスクのためのハードウェア効率の良いアーキテクチャとして登場した。
非スパイキング人工ニューラルネットワーク(ANN)で使用される強力なバックプロパゲーション(BP)技術を採用する試みはいくつかある。
論文 参考訳（メタデータ） (2022-07-20T08:57:53Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - The fine line between dead neurons and sparsity in binarized spiking
neural networks [1.370633147306388]
スパイキングニューラルネットワークは、情報を符号化したり、離散化された量を処理することによって、量子化エラーを補償することができる。
本稿では,しきい値のウォームアップ手法としてしきい値アニーリング(しきい値アニーリング)を提案する。
ニューロンの発火が止まる複数の層にスパイクを伝播させることで、4つの多様なデータセットに対して高い競争力を持つ結果が得られることを示す。
論文 参考訳（メタデータ） (2022-01-28T03:33:12Z) - Event-based Video Reconstruction via Potential-assisted Spiking Neural
Network [48.88510552931186]
バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。
完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。
スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
論文 参考訳（メタデータ） (2022-01-25T02:05:20Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。