論文の概要: Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics
Organized by Astrocyte-modulated Plasticity
- arxiv url: http://arxiv.org/abs/2111.01760v1
- Date: Tue, 26 Oct 2021 23:04:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-07 11:37:15.552954
- Title: Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics
Organized by Astrocyte-modulated Plasticity
- Title(参考訳): astrocyte-modulated plasticity によるエッジ・オブ・カオス・ダイナミクスによる液体状態機械の性能向上
- Authors: Vladimir A. Ivanov, Konstantinos P. Michmizos
- Abstract要約: 液体状態機械(LSM)は勾配のバックプロパゲーションなしで内部重量を調整する。
近年の知見は、アストロサイトがシナプスの可塑性と脳のダイナミクスを調節していることを示唆している。
本稿では, 自己組織的近接臨界力学を用いて, 性能の低いニューロン-アストロサイト液状状態機械 (NALSM) を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The liquid state machine (LSM) combines low training complexity and
biological plausibility, which has made it an attractive machine learning
framework for edge and neuromorphic computing paradigms. Originally proposed as
a model of brain computation, the LSM tunes its internal weights without
backpropagation of gradients, which results in lower performance compared to
multi-layer neural networks. Recent findings in neuroscience suggest that
astrocytes, a long-neglected non-neuronal brain cell, modulate synaptic
plasticity and brain dynamics, tuning brain networks to the vicinity of the
computationally optimal critical phase transition between order and chaos.
Inspired by this disruptive understanding of how brain networks self-tune, we
propose the neuron-astrocyte liquid state machine (NALSM) that addresses
under-performance through self-organized near-critical dynamics. Similar to its
biological counterpart, the astrocyte model integrates neuronal activity and
provides global feedback to spike-timing-dependent plasticity (STDP), which
self-organizes NALSM dynamics around a critical branching factor that is
associated with the edge-of-chaos. We demonstrate that NALSM achieves
state-of-the-art accuracy versus comparable LSM methods, without the need for
data-specific hand-tuning. With a top accuracy of 97.61% on MNIST, 97.51% on
N-MNIST, and 85.84% on Fashion-MNIST, NALSM achieved comparable performance to
current fully-connected multi-layer spiking neural networks trained via
backpropagation. Our findings suggest that the further development of
brain-inspired machine learning methods has the potential to reach the
performance of deep learning, with the added benefits of supporting robust and
energy-efficient neuromorphic computing on the edge.
- Abstract(参考訳): 液体状態機械(LSM)は、訓練の複雑さと生物学的な妥当性を組み合わせ、エッジおよびニューロモルフィックコンピューティングパラダイムのための魅力的な機械学習フレームワークとなった。
もともと脳計算のモデルとして提案されたLSMは、勾配のバックプロパゲーションなしで内部重みを調整し、多層ニューラルネットワークと比較して性能が低下する。
神経科学の最近の知見は、長い無視された非神経性脳細胞であるアストロサイトがシナプス可塑性と脳のダイナミクスを調節し、秩序とカオスの間の計算上最適な臨界相転移の近傍に脳ネットワークをチューニングしていることを示唆している。
脳のネットワークの自己構造に関するこの破壊的理解に触発されて、自己組織化された近臨界ダイナミクスによる性能不足に対処するニューロン・アストロサイト液体状態機械(nalsm)を提案する。
astrocyteモデルはその生物学的な機能と同様に、神経活動を統合し、spike-timing-dependent plasticity(stdp)へのグローバルなフィードバックを提供する。
我々は,NALSMがデータ固有の手動チューニングを必要とせずに,同等のLSM法に対して最先端の精度を実現することを示す。
MNISTで97.61%、N-MNISTで97.51%、Fashion-MNISTで85.84%の精度で、NALSMはバックプロパゲーションで訓練された現在の完全接続型マルチ層スパイクニューラルネットワークと同等のパフォーマンスを達成した。
脳にインスパイアされた機械学習手法のさらなる発展は、強固でエネルギー効率の良いニューロモルフィックコンピューティングをエッジでサポートすることで、ディープラーニングのパフォーマンスに到達できる可能性が示唆された。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳(メタデータ) (2024-02-26T15:01:54Z) - Learning with Chemical versus Electrical Synapses -- Does it Make a
Difference? [61.85704286298537]
バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。
我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
論文 参考訳(メタデータ) (2023-11-21T13:07:20Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Astromorphic Self-Repair of Neuromorphic Hardware Systems [0.8958368012475248]
本稿では,グリア細胞の自己修復,特にアストロサイトの役割について検討する。
ハードウェア・ソフトウェアの共同設計分析は、生体形態の天体制御が、ハードウェアの現実的な欠陥を自己修復する可能性があることを明らかにしている。
論文 参考訳(メタデータ) (2022-09-15T16:23:45Z) - Modeling Associative Plasticity between Synapses to Enhance Learning of
Spiking Neural Networks [4.736525128377909]
Spiking Neural Networks(SNN)は、ニューラルネットワークの第3世代であり、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする。
本稿では,シナプス間の結合可塑性をモデル化し,頑健で効果的な学習機構を提案する。
本手法は静的および最先端のニューロモルフィックデータセット上での優れた性能を実現する。
論文 参考訳(メタデータ) (2022-07-24T06:12:23Z) - A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks [1.8556712517882232]
スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
論文 参考訳(メタデータ) (2022-06-10T06:41:36Z) - Mapping and Validating a Point Neuron Model on Intel's Neuromorphic
Hardware Loihi [77.34726150561087]
インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。
Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。
Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
論文 参考訳(メタデータ) (2021-09-22T16:52:51Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - On the Self-Repair Role of Astrocytes in STDP Enabled Unsupervised SNNs [1.0009912692042526]
この研究は、ニューロンとシナプスの計算モデルに対する現在のニューロモルフィックコンピューティングアーキテクチャの焦点を越えている。
スパイクタイミング依存塑性(STDP)を用いた教師なし学習によるスパイクニューラルネットワークの耐故障能におけるグリア細胞の役割について検討する。
MNISTデータセットとFashion-MNISTデータセットで提案した提案を,50%から90%までのさまざまな障害度を持つネットワークで実現可能な自己修復の程度を特徴付ける。
論文 参考訳(メタデータ) (2020-09-08T01:14:53Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z) - Structural plasticity on an accelerated analog neuromorphic hardware
system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。
我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。
ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文 参考訳(メタデータ) (2019-12-27T10:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。