論文の概要: Ensemble plasticity and network adaptability in SNNs

• arxiv url: http://arxiv.org/abs/2203.07039v1
• Date: Fri, 11 Mar 2022 01:14:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-20 07:11:52.154854
• Title: Ensemble plasticity and network adaptability in SNNs
• Title（参考訳）: SNNにおけるアンサンブル可塑性とネットワーク適応性
• Authors: Mahima Milinda Alwis Weerasinghe, David Parry, Grace Wang, Jacqueline Whalley
• Abstract要約: 人工スパイキングニューラルネットワーク(ASNN)は、離散的なイベントベース(スパイク)計算のため、より優れた情報処理効率を約束する。 本研究では,スパイク活動のみを用いたエントロピーとネットワークアクティベーションに基づく新しいアンサンブル学習手法を提案する。 その結果, スパイクレートの低いニューロンクラスターを刈り取ると, 一般化や性能の低下が予想されることがわかった。
• 参考スコア（独自算出の注目度）: 0.726437825413781
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial Spiking Neural Networks (ASNNs) promise greater information processing efficiency because of discrete event-based (i.e., spike) computation. Several Machine Learning (ML) applications use biologically inspired plasticity mechanisms as unsupervised learning techniques to increase the robustness of ASNNs while preserving efficiency. Spike Time Dependent Plasticity (STDP) and Intrinsic Plasticity (IP) (i.e., dynamic spiking threshold adaptation) are two such mechanisms that have been combined to form an ensemble learning method. However, it is not clear how this ensemble learning should be regulated based on spiking activity. Moreover, previous studies have attempted threshold based synaptic pruning following STDP, to increase inference efficiency at the cost of performance in ASNNs. However, this type of structural adaptation, that employs individual weight mechanisms, does not consider spiking activity for pruning which is a better representation of input stimuli. We envisaged that plasticity-based spike-regulation and spike-based pruning will result in ASSNs that perform better in low resource situations. In this paper, a novel ensemble learning method based on entropy and network activation is introduced, which is amalgamated with a spike-rate neuron pruning technique, operated exclusively using spiking activity. Two electroencephalography (EEG) datasets are used as the input for classification experiments with a three-layer feed forward ASNN trained using one-pass learning. During the learning process, we observed neurons assembling into a hierarchy of clusters based on spiking rate. It was discovered that pruning lower spike-rate neuron clusters resulted in increased generalization or a predictable decline in performance.
• Abstract（参考訳）: 人工スパイクニューラルネットワーク(asnn)は、離散的なイベントベース(スパイク)計算により、情報処理効率が向上する。 いくつかの機械学習(ML)アプリケーションは、生物学的にインスパイアされた可塑性機構を教師なし学習技術として使用し、効率を保ちながらASNNの堅牢性を高める。 スパイク時間依存可塑性(stdp)と固有可塑性(ip)(動的スパイク閾値適応)は、アンサンブル学習法を形成するために組み合わされた2つのメカニズムである。 しかし、このアンサンブル学習がスパイク活動に基づいてどのように規制されるべきかは定かではない。 さらに,STDP後におけるしきい値に基づくシナプスプルーニングを試み,ASNNの性能低下による推論効率の向上を試みた。 しかし、このような構造的適応は、個々の重量機構を用いるが、入力刺激をよりよく表わすプルーニングのためのスパイキング活性を考慮しない。 塑性に基づくスパイク制御とスパイクベースのプルーニングにより,低資源環境下でのASSNの性能向上が期待できる。 本稿では,スパイクレートニューロン切断技術と融合した,エントロピーとネットワーク活性化に基づく新しいアンサンブル学習手法を提案する。 2つの脳波データセットを1パス学習を用いて訓練した3層フィードフォワードASNNを用いた分類実験の入力として使用する。 学習過程において,ニューロンがスパイキング速度に基づいてクラスターの階層に組み立てられるのを観察した。 その結果, スパイクレートの低いニューロンクラスターを刈り取ると, 一般化が増加し, 性能が低下することが判明した。

関連論文リスト

• Benchmarking Spiking Neural Network Learning Methods with Varying Locality [2.323924801314763]
  スパイキングニューラルネットワーク(SNN)はより現実的な神経力学を提供する。 情報はイベントベースのメカニズムでSNN内のスパイクとして処理される。 スパイキング機構の非分化性のため,SNNのトレーニングは困難であることを示す。
  論文  参考訳（メタデータ） (2024-02-01T19:57:08Z)
• Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference [2.5148788595166205]
  本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。 私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
  論文  参考訳（メタデータ） (2023-11-13T08:18:44Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Heterogeneous Neuronal and Synaptic Dynamics for Spike-Efficient Unsupervised Learning: Theory and Design Principles [13.521272923545409]
  我々は、ニューロンの統合/緩和ダイナミクスの多様性が、RSNNがより異なる入力パターン(より高いメモリ容量)を学習する能力を向上させることを解析的に示す。 さらに, シナプスのヘテロジニアススパイク-タイミング-依存性-Plasticity (STDP) はスパイク活性を低下させるが, メモリ容量は維持することを示した。
  論文  参考訳（メタデータ） (2023-02-22T19:48:02Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• An Unsupervised STDP-based Spiking Neural Network Inspired By Biologically Plausible Learning Rules and Connections [10.188771327458651]
  スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。 我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。 我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-06T14:53:32Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• SpikePropamine: Differentiable Plasticity in Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)におけるシナプス可塑性と神経調節シナプス可塑性のダイナミクスを学習するための枠組みを導入する。 異なる可塑性で強化されたSNNは、時間的学習課題の集合を解決するのに十分であることを示す。 これらのネットワークは、高次元のロボット学習タスクで移動を生成できることも示されている。
  論文  参考訳（メタデータ） (2021-06-04T19:29:07Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。