論文の概要: Efficiently Training Time-to-First-Spike Spiking Neural Networks from Scratch

• arxiv url: http://arxiv.org/abs/2410.23619v2
• Date: Mon, 10 Mar 2025 05:08:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:43:33.101699
• Title: Efficiently Training Time-to-First-Spike Spiking Neural Networks from Scratch
• Title（参考訳）: スクラッチからタイム・ツー・ファーストスパイク・スパイク・ニューラルネットを効果的に訓練する
• Authors: Kaiwei Che, Wei Fang, Zhengyu Ma, Yifan Huang, Peng Xue, Li Yuan, Timothée Masquelier, Yonghong Tian,
• Abstract要約: スパイキングニューラルネットワーク(SNN)はエネルギー効率の良いニューロモルフィックハードウェアに適している。 Time-to-First-Spike(TTFS)コーディングは、ニューロン毎の1回のスパイクを使用し、極端に間隔とエネルギー効率を提供するが、スパース発射による不安定なトレーニングと低い精度に悩まされている。 本稿では,パラメータ正規化,トレーニング正規化,時間出力復号化,プール層再評価を取り入れたトレーニングフレームワークを提案する。 実験では、M上のTTFS SNNのトレーニングを安定化し、加速し、レイテンシを低減し、最先端の精度を達成する。
• 参考スコア（独自算出の注目度）: 39.05124192217359
• License:
• Abstract: Spiking Neural Networks (SNNs), with their event-driven and biologically inspired operation, are well-suited for energy-efficient neuromorphic hardware. Neural coding, critical to SNNs, determines how information is represented via spikes. Time-to-First-Spike (TTFS) coding, which uses a single spike per neuron, offers extreme sparsity and energy efficiency but suffers from unstable training and low accuracy due to its sparse firing. To address these challenges, we propose a training framework incorporating parameter initialization, training normalization, temporal output decoding, and pooling layer re-evaluation. The proposed parameter initialization and training normalization mitigate signal diminishing and gradient vanishing to stabilize training. The output decoding method aggregates temporal spikes to encourage earlier firing, thereby reducing the latency. The re-evaluation of the pooling layer indicates that average-pooling keeps the single-spike characteristic and that max-pooling should be avoided. Experiments show the framework stabilizes and accelerates training, reduces latency, and achieves state-of-the-art accuracy for TTFS SNNs on MNIST (99.48%), Fashion-MNIST (92.90%), CIFAR10 (90.56%), and DVS Gesture (95.83%).
• Abstract（参考訳）: Spiking Neural Networks(SNN)は、イベント駆動で生物学的にインスパイアされた操作で、エネルギー効率の良いニューロモルフィックハードウェアに適している。 SNNに批判的なニューラルコーディングは、スパイクによって情報がどのように表現されるかを決定する。 Time-to-First-Spike(TTFS)コーディングは、ニューロン毎の1回のスパイクを使用し、極端に間隔とエネルギー効率を提供するが、スパース発射による不安定なトレーニングと低い精度に悩まされている。 これらの課題に対処するために,パラメータの初期化,正規化のトレーニング,時間出力復号化,プール層の再評価を取り入れたトレーニングフレームワークを提案する。 パラメータの初期化と正規化の訓練はトレーニングを安定させるために信号の減少と勾配の消失を緩和する。 出力復号法は、時間的スパイクを集約して早期の発射を奨励し、遅延を低減させる。 プール層の再評価は, 平均プールが単一スパイク特性を保ち, 最大プールは避けるべきであることを示している。 実験では、MNIST (99.48%)、Fashion-MNIST (92.90%)、CIFAR10 (90.56%)、DVS Gesture (95.83%)でTTFS SNNの最先端の精度を実現する。

関連論文リスト

• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training Energy-Efficient Deep Spiking Neural Networks with Time-to-First-Spike Coding [29.131030799324844]
  スパイキングニューラルネットワーク(SNN)は人間の脳の動作を模倣する。 ディープラーニングでは、ディープニューラルネットワーク(DNN)が深刻な問題になっている。 本稿では,TTFS符号化を用いたエネルギー効率の高い深部SNNの学習手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T16:02:27Z)
• Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch [5.511606249429581]
  ディープラーニングの代替手段としてスパイキングニューラルネットワーク(SNN)が登場している。 スクラッチからの高精度で低遅延のSNNは、スパイキングニューロンの非分化性の性質に悩まされる。 本稿では、時間的SNNのトレーニングのための時間的バッチ正規化(BNTT)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T00:49:30Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
  本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。 提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
  論文  参考訳（メタデータ） (2020-03-26T04:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。