論文の概要: Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2407.12516v1
• Date: Wed, 17 Jul 2024 12:09:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 17:17:27.309108
• Title: Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks
• Title（参考訳）: ニューロモルフィックスパイキングニューラルネットワークのオンライン擬似ゼロ階学習
• Authors: Mingqing Xiao, Qingyan Meng, Zongpeng Zhang, Di He, Zhouchen Lin,
• Abstract要約: スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。 最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。 オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
• 参考スコア（独自算出の注目度）: 69.2642802272367
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Brain-inspired neuromorphic computing with spiking neural networks (SNNs) is a promising energy-efficient computational approach. However, successfully training SNNs in a more biologically plausible and neuromorphic-hardware-friendly way is still challenging. Most recent methods leverage spatial and temporal backpropagation (BP), not adhering to neuromorphic properties. Despite the efforts of some online training methods, tackling spatial credit assignments by alternatives with comparable performance as spatial BP remains a significant problem. In this work, we propose a novel method, online pseudo-zeroth-order (OPZO) training. Our method only requires a single forward propagation with noise injection and direct top-down signals for spatial credit assignment, avoiding spatial BP's problem of symmetric weights and separate phases for layer-by-layer forward-backward propagation. OPZO solves the large variance problem of zeroth-order methods by the pseudo-zeroth-order formulation and momentum feedback connections, while having more guarantees than random feedback. Combining online training, OPZO can pave paths to on-chip SNN training. Experiments on neuromorphic and static datasets with fully connected and convolutional networks demonstrate the effectiveness of OPZO with similar performance compared with spatial BP, as well as estimated low training costs.
• Abstract（参考訳）: スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。 しかし、より生物学的に可塑性でニューロモルフィックなハードウェアに優しい方法でSNNを訓練することに成功したことは、依然として困難である。 最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。 いくつかのオンライントレーニング手法の努力にもかかわらず、空間BPに匹敵する性能を持つ代替品による空間クレジットの割り当てに対処することは重要な問題である。 本研究では,オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。 本手法では,空間的BPの対称重み問題を回避するため,ノイズ注入による一方向伝搬と直接トップダウン信号のみを必要とする。 OPZOは、擬ゼロ階法と運動量フィードバック接続によるゼロ階法の大規模な分散問題を、ランダムなフィードバックよりも高い保証を持ちながら解決する。 オンライントレーニングを組み合わせることで、OPZOはオンチップSNNトレーニングへのパスを舗装することができる。 完全連結および畳み込みネットワークを用いたニューロモルフィックおよび静的データセットの実験は、空間BPと同等の性能を持つOPZOの有効性と、推定された低トレーニングコストを示す。

関連論文リスト

• Biologically-Plausible Topology Improved Spiking Actor Network for Efficient Deep Reinforcement Learning [15.143466733327566]
  近年の神経科学の進歩により、ヒトの脳は報酬に基づく効果的な学習を達成していることが明らかになった。 Deep Reinforcement Learning (DRL)の成功は主に、関数近似器としてArtificial Neural Networks (ANN)を活用することによる。 そこで我々は,機能近似の新たな代替手法として,生物学的に証明可能なトポロジー改良スパイキング・アクター・ネットワーク(BPT-SAN)を提案する。
  論文  参考訳（メタデータ） (2024-03-29T13:25:19Z)
• Forward Direct Feedback Alignment for Online Gradient Estimates of Spiking Neural Networks [0.0]
  スパイクニューラルネットワークは、ニューロモルフィックハードウェアプラットフォーム上で効率的にエネルギーをシミュレートすることができる。 本研究では,新しいニューロモルフィックアルゴリズムであるtextitSpiking Forward Direct Feedback Alignment (SFDFA) を提案する。
  論文  参考訳（メタデータ） (2024-02-06T09:07:12Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
  スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。 既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:39:46Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Selfish Sparse RNN Training [13.165729746380816]
  本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。 我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
  論文  参考訳（メタデータ） (2021-01-22T10:45:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。