論文の概要: SpikePropamine: Differentiable Plasticity in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2106.02681v1
• Date: Fri, 4 Jun 2021 19:29:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 10:26:05.651769
• Title: SpikePropamine: Differentiable Plasticity in Spiking Neural Networks
• Title（参考訳）: Spike Propamine:スパイクニューラルネットワークの可塑性
• Authors: Samuel Schmidgall, Julia Ashkanazy, Wallace Lawson, Joe Hays
• Abstract要約: スパイキングニューラルネットワーク(SNN)におけるシナプス可塑性と神経調節シナプス可塑性のダイナミクスを学習するための枠組みを導入する。 異なる可塑性で強化されたSNNは、時間的学習課題の集合を解決するのに十分であることを示す。 これらのネットワークは、高次元のロボット学習タスクで移動を生成できることも示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The adaptive changes in synaptic efficacy that occur between spiking neurons have been demonstrated to play a critical role in learning for biological neural networks. Despite this source of inspiration, many learning focused applications using Spiking Neural Networks (SNNs) retain static synaptic connections, preventing additional learning after the initial training period. Here, we introduce a framework for simultaneously learning the underlying fixed-weights and the rules governing the dynamics of synaptic plasticity and neuromodulated synaptic plasticity in SNNs through gradient descent. We further demonstrate the capabilities of this framework on a series of challenging benchmarks, learning the parameters of several plasticity rules including BCM, Oja's, and their respective set of neuromodulatory variants. The experimental results display that SNNs augmented with differentiable plasticity are sufficient for solving a set of challenging temporal learning tasks that a traditional SNN fails to solve, even in the presence of significant noise. These networks are also shown to be capable of producing locomotion on a high-dimensional robotic learning task, where near-minimal degradation in performance is observed in the presence of novel conditions not seen during the initial training period.
• Abstract（参考訳）: スパイキングニューロン間のシナプス効果の適応的変化は、生物学的ニューラルネットワークの学習において重要な役割を果たすことが示されている。 このようなインスピレーションの源にも拘わらず、スパイキングニューラルネットワーク(snn)を使用して学習する多くのアプリケーションは静的シナプス接続を保持し、最初のトレーニング期間後に追加の学習を妨げている。 本稿では,snsにおける相乗可塑性と神経修飾相乗可塑性のダイナミックスを,勾配降下を通じて同時に学習する枠組みとルールを紹介する。 我々はさらに,bcm,oja,およびそれらの神経調節性変異体を含むいくつかの可塑性規則のパラメータを学習し,一連の難解なベンチマークでこの枠組みの能力を示す。 実験結果から,異なる可塑性で強化されたSNNは,従来のSNNでは解けない時間的学習課題の集合を,大きなノイズがあっても解くのに十分であることが示された。 これらのネットワークは、初期のトレーニング期間中に見られない新しい条件下で、パフォーマンスのほぼ最小の劣化が観察される、高次元ロボット学習タスク上での移動を生成できることも示されている。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• NeuroMoCo: A Neuromorphic Momentum Contrast Learning Method for Spiking Neural Networks [18.038225756466844]
  本稿では脳誘発スパイキングニューラルネットワーク(SNN)のためのニューロモルフィック・モーメント・コントラスト学習(NeuroMoCo)を紹介する。 SNNにおいて、モーメントコントラスト学習に基づく自己教師型学習(SSL)が実現されたのはこれが初めてである。 DVS-CI10、DVS128Gesture、N-Caltech101の実験は、NeuroMoCoが新しい最先端(SOTA)ベンチマークを確立することを示した。
  論文  参考訳（メタデータ） (2024-06-10T14:20:48Z)
• Context Gating in Spiking Neural Networks: Achieving Lifelong Learning through Integration of Local and Global Plasticity [20.589970453110208]
  ヒトは前頭前皮質(PFC)の文脈ゲーティング機構を通じて、最小の相互干渉で連続して複数のタスクを学習する 本研究では,生涯学習のための局所可塑性規則(CG-SNN)によって訓練された文脈ゲーティングを用いたSNNを提案する。 実験により,提案モデルは過去の学習経験を維持する上で有効であり,生涯学習における他の方法よりも優れたタスク選択性を有することが示された。
  論文  参考訳（メタデータ） (2024-06-04T01:35:35Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Modeling Associative Plasticity between Synapses to Enhance Learning of Spiking Neural Networks [4.736525128377909]
  Spiking Neural Networks(SNN)は、ニューラルネットワークの第3世代であり、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする。 本稿では,シナプス間の結合可塑性をモデル化し,頑健で効果的な学習機構を提案する。 本手法は静的および最先端のニューロモルフィックデータセット上での優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-07-24T06:12:23Z)
• A Synapse-Threshold Synergistic Learning Approach for Spiking Neural Networks [1.8556712517882232]
  スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。 本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
  論文  参考訳（メタデータ） (2022-06-10T06:41:36Z)
• A Spiking Neuron Synaptic Plasticity Model Optimized for Unsupervised Learning [0.0]
  スパイキングニューラルネットワーク(SNN)は、教師なし、教師なし、強化学習など、あらゆる種類の学習タスクを実行するための視点ベースとして考えられている。 SNNでの学習は、シナプス前およびシナプス後ニューロンの活動に依存するシナプス重みのダイナミクスを決定する規則であるシナプス可塑性によって実施される。
  論文  参考訳（メタデータ） (2021-11-12T15:26:52Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。