論文の概要: Continuous learning of spiking networks trained with local rules

• arxiv url: http://arxiv.org/abs/2111.09553v1
• Date: Thu, 18 Nov 2021 07:13:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 12:57:44.709764
• Title: Continuous learning of spiking networks trained with local rules
• Title（参考訳）: 局所ルールを用いたスパイクネットワークの継続的学習
• Authors: Dmitry Antonov, Kirill Sviatov, Sergey Sukhov
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、次世代の人工知能ニューラルネットワーク(ANN)である SNNは破滅的忘れ(CF)に対するレジリエンスの向上を約束する可能性がある 本稿では, CFに対するSNNの感受性について検討し, CFを緩和する生物学的な方法をいくつか試す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial neural networks (ANNs) experience catastrophic forgetting (CF) during sequential learning. In contrast, the brain can learn continuously without any signs of catastrophic forgetting. Spiking neural networks (SNNs) are the next generation of ANNs with many features borrowed from biological neural networks. Thus, SNNs potentially promise better resilience to CF. In this paper, we study the susceptibility of SNNs to CF and test several biologically inspired methods for mitigating catastrophic forgetting. SNNs are trained with biologically plausible local training rules based on spike-timing-dependent plasticity (STDP). Local training prohibits the direct use of CF prevention methods based on gradients of a global loss function. We developed and tested the method to determine the importance of synapses (weights) based on stochastic Langevin dynamics without the need for the gradients. Several other methods of catastrophic forgetting prevention adapted from analog neural networks were tested as well. The experiments were performed on freely available datasets in the SpykeTorch environment.
• Abstract（参考訳）: 人工知能ニューラルネットワーク(ANN)は、逐次学習中に破滅的な忘れ(CF)を経験する。 対照的に、脳は壊滅的な忘れの兆候なしに連続的に学習することができる。 スパイキングニューラルネットワーク(SNN)は、生物ニューラルネットワークから多くの特徴を借りた次世代のANNである。 これにより、snsはcfに対するレジリエンス向上を約束できる。 本稿では,SNNのCFに対する感受性について検討し,破滅的忘れを緩和するための生物学的に誘発されたいくつかの方法をテストする。 SNNはスパイク刺激依存的可塑性(STDP)に基づく生物学的に妥当な局所訓練規則で訓練されている。 ローカルトレーニングは、グローバルな損失関数の勾配に基づくCF防止手法の直接使用を禁止している。 我々は,勾配を必要とせず,確率的ランゲヴィンダイナミクスに基づくシナプス(ウェイト)の重要性を判定する手法を開発した。 アナログニューラルネットワークに適応した破滅的忘れ防止法もいくつか試験された。 実験はSpykeTorch環境で無料で利用可能なデータセットで実施された。

関連論文リスト

• BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。 本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-12T08:17:24Z)
• Is Learning in Biological Neural Networks based on Stochastic Gradient Descent? An analysis using stochastic processes [0.0]
  生体神経ネットワーク(BNN)における教師あり学習モデルについて検討する。 我々は,各学習機会を多くのローカル更新によって処理した場合に,勾配ステップが生じることを示す。 この結果は、勾配降下がBNNを最適化する役割を担っていることを示唆している。
  論文  参考訳（メタデータ） (2023-09-10T18:12:52Z)
• ESL-SNNs: An Evolutionary Structure Learning Strategy for Spiking Neural Networks [20.33499499020257]
  スパイキングニューラルネットワーク(SNN)は、推論プロセス中に消費電力とイベント駆動特性に顕著な優位性を示した。 スパースSNNトレーニングをスクラッチから実装するために,ESL-SNNと呼ばれるSNNのための効率的な進化的構造学習フレームワークを提案する。 本研究は,SNNをスクラッチから切り離し,生物学的に妥当な進化機構で訓練するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:06:11Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Toward Robust Spiking Neural Network Against Adversarial Perturbation [22.56553160359798]
  スパイキングニューラルネットワーク(SNN)は、現実の効率クリティカルなアプリケーションにますます多くデプロイされている。 研究者はすでに、SNNを敵の例で攻撃できることを実証している。 我々の知る限りでは、これはSNNの堅牢なトレーニングに関する最初の分析である。
  論文  参考訳（メタデータ） (2022-04-12T21:26:49Z)
• Improving Surrogate Gradient Learning in Spiking Neural Networks via Regularization and Normalization [0.0]
  スパイキングニューラルネットワーク(SNN)は、ディープラーニングで使用される古典的ネットワークとは異なる。 SNNは低消費電力のニューロモルフィックチップに実装できるため、AI技術にアピールしている。
  論文  参考訳（メタデータ） (2021-12-13T15:24:33Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。