論文の概要: Stepwise Weighted Spike Coding for Deep Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2408.17245v1
• Date: Fri, 30 Aug 2024 12:39:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 15:28:41.225677
• Title: Stepwise Weighted Spike Coding for Deep Spiking Neural Networks
• Title（参考訳）: ディープスパイキングニューラルネットワークのためのステップワイズスパイク符号化
• Authors: Yiwen Gu, Junchuan Gu, Haibin Shen, Kejie Huang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンのスパイキング動作を模倣しようと試みている。 本稿では,スパイクにおける情報のエンコーディングを強化するために,SWS(Stepwise Weighted Spike)符号化方式を提案する。 このアプローチは、ニューラルネットワークの各ステップにおけるスパイクの重要性を重み付け、高い性能と低エネルギー消費を達成することでスパイクを圧縮する。
• 参考スコア（独自算出の注目度）: 7.524721345903027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) seek to mimic the spiking behavior of biological neurons and are expected to play a key role in the advancement of neural computing and artificial intelligence. The efficiency of SNNs is often determined by the neural coding schemes. Existing coding schemes either cause huge delays and energy consumption or necessitate intricate neuron models and training techniques. To address these issues, we propose a novel Stepwise Weighted Spike (SWS) coding scheme to enhance the encoding of information in spikes. This approach compresses the spikes by weighting the significance of the spike in each step of neural computation, achieving high performance and low energy consumption. A Ternary Self-Amplifying (TSA) neuron model with a silent period is proposed for supporting SWS-based computing, aimed at minimizing the residual error resulting from stepwise weighting in neural computation. Our experimental results show that the SWS coding scheme outperforms the existing neural coding schemes in very deep SNNs, and significantly reduces operations and latency.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンのスパイキング行動を模倣し、ニューラルコンピューティングと人工知能の進歩において重要な役割を果たすと期待されている。 SNNの効率は、しばしばニューラルコーディング方式によって決定される。 既存の符号化方式は、膨大な遅延とエネルギー消費を引き起こすか、複雑なニューロンモデルと訓練技術を必要とする。 これらの問題に対処するために、スパイクにおける情報のエンコーディングを強化するために、SWS(Stepwise Weighted Spike)符号化方式を提案する。 このアプローチは、ニューラルネットワークの各ステップにおけるスパイクの重要性を重み付け、高い性能と低エネルギー消費を達成することでスパイクを圧縮する。 ニューラルネットワークの段階重み付けによる残差を最小限に抑えることを目的とした,サイレント周期の3次自己増幅(TSA)ニューロンモデルを提案する。 実験の結果、SWS符号化方式は、非常に深いSNNにおいて既存のニューラルコーディング方式よりも優れており、操作やレイテンシを大幅に低減していることがわかった。

関連論文リスト

• Adaptive Spiking Neural Networks with Hybrid Coding [0.0]
  スパイテンポラルニューラルネットワーク(SNN)は、ニューラルネットワークよりもエネルギー効率が高く効果的なニューラルネットワークである 従来のSNNは、異なる時間ステップで入力データを処理する際に同じニューロンを使用し、時間情報を効果的に統合し活用する能力を制限する。 本稿では,学習に必要な時間を短縮するだけでなく,ネットワーク全体の性能を向上させるためのハイブリッド符号化手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T13:58:35Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Timing-Based Backpropagation in Spiking Neural Networks Without Single-Spike Restrictions [2.8360662552057323]
  スパイキングニューラルネットワーク(SNN)のトレーニングのための新しいバックプロパゲーションアルゴリズムを提案する。 シングルスパイク制限なしで、個々のニューロンの相対多重スパイクタイミングに情報をエンコードする。
  論文  参考訳（メタデータ） (2022-11-29T11:38:33Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks [5.986408771459261]
  生物学的スパイクニューラルネットワーク(SNN)は、その出力の情報を時間的にエンコードすることができるが、人工ニューラルネットワーク(ANN)は従来はそうではない。 ここでは、SNNにインスパイアされたランク符号化(RC)のような時間符号化が、LSTMなどの従来のANNにも適用可能であることを示す。 RCトレーニングは推論中の時間と監視を著しく低減し、精度は最小限に抑えられる。 逐次分類の2つのおもちゃ問題と、最初の入力時間ステップ後にRCモデルが99.19%の精度を達成できる時間符号化MNISTデータセットにおいて、これらを実証する。
  論文  参考訳（メタデータ） (2021-10-06T15:51:38Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding [5.725845886457027]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。 SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。 本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-26T06:16:40Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。