論文の概要: Adaptive structure evolution and biologically plausible synaptic
plasticity for recurrent spiking neural networks
- arxiv url: http://arxiv.org/abs/2304.01015v1
- Date: Fri, 31 Mar 2023 07:36:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 15:03:21.983184
- Title: Adaptive structure evolution and biologically plausible synaptic
plasticity for recurrent spiking neural networks
- Title(参考訳): リカレントスパイキングニューラルネットワークにおける適応的構造進化と生物学的に妥当なシナプス可塑性
- Authors: Wenxuan Pan, Feifei Zhao, Yi Zeng, Bing Han
- Abstract要約: スパイキングニューラルネットワーク(SNN)ベースのLiquid State Machine(LSM)は、脳にインスパイアされたインテリジェンスを研究するのに適したアーキテクチャである。
本稿では,適応的構造進化と大規模生物学習ルールを統合した新しいLSM学習モデルを提案する。
- 参考スコア(独自算出の注目度): 6.760855795263126
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The architecture design and multi-scale learning principles of the human
brain that evolved over hundreds of millions of years are crucial to realizing
human-like intelligence. Spiking Neural Network (SNN) based Liquid State
Machine (LSM) serves as a suitable architecture to study brain-inspired
intelligence because of its brain-inspired structure and the potential for
integrating multiple biological principles. Existing researches on LSM focus on
different certain perspectives, including high-dimensional encoding or
optimization of the liquid layer, network architecture search, and application
to hardware devices. There is still a lack of in-depth inspiration from the
learning and structural evolution mechanism of the brain. Considering these
limitations, this paper presents a novel LSM learning model that integrates
adaptive structural evolution and multi-scale biological learning rules. For
structural evolution, an adaptive evolvable LSM model is developed to optimize
the neural architecture design of liquid layer with separation property. For
brain-inspired learning of LSM, we propose a dopamine-modulated
Bienenstock-Cooper-Munros (DA-BCM) method that incorporates global long-term
dopamine regulation and local trace-based BCM synaptic plasticity. Comparative
experimental results on different decision-making tasks show that introducing
structural evolution of the liquid layer, and the DA-BCM regulation of the
liquid layer and the readout layer could improve the decision-making ability of
LSM and flexibly adapt to rule reversal. This work is committed to exploring
how evolution can help to design more appropriate network architectures and how
multi-scale neuroplasticity principles coordinated to enable the optimization
and learning of LSMs for relatively complex decision-making tasks.
- Abstract(参考訳): 数億年にわたって進化した人間の脳のアーキテクチャ設計とマルチスケール学習の原則は、人間のような知性を実現する上で不可欠である。
スパイキングニューラルネットワーク(snn)ベースの液体状態機械(lsm)は、脳にインスパイアされた構造と複数の生物学的原理を統合する可能性から、脳にインスパイアされた知性を研究するのに最適なアーキテクチャである。
LSMに関する既存の研究は、液体層の高次元エンコーディングや最適化、ネットワークアーキテクチャ探索、ハードウェアデバイスへの応用など、様々な視点に焦点を当てている。
脳の学習と構造進化のメカニズムには、まだ深いインスピレーションが欠けている。
本稿では,適応的構造進化と多次元生物学習ルールを融合した新しいlsm学習モデルを提案する。
構造進化のための適応進化可能なlsmモデルを開発し,分離特性を有する液状層のニューラルネットワーク設計を最適化した。
脳に触発されたLSMの学習のために,グローバルな長期ドパミン調節と局所トレースベースBCMシナプス可塑性を組み込んだドーパミン修飾ビエネンストック・クーパー・マンロス法(DA-BCM)を提案する。
異なる意思決定タスクにおける比較実験の結果, 液層の構造変化と液層と読み出し層のda-bcm制御によりlsmの意思決定能力が向上し, ルール反転に柔軟に対応できることがわかった。
この研究は、進化がより適切なネットワークアーキテクチャを設計するのにどのように役立つか、そして比較的複雑な意思決定タスクのためのLSMの最適化と学習を可能にするために、マルチスケールの神経可塑性原理をどのように調整したかを探求することを目的としている。
関連論文リスト
- A match made in consistency heaven: when large language models meet
evolutionary algorithms [51.087936554483804]
事前訓練された大規模言語モデル(LLM)は、創造的な自然言語を生成する強力な能力を持つ。
進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。
テキストシーケンスの生成と進化の共通の集合性と方向性に動機づけられた本論文は,LLMとEAの強い一貫性を示す。
論文 参考訳(メタデータ) (2024-01-19T05:58:30Z) - Evolving Reservoirs for Meta Reinforcement Learning [1.6874375111244329]
本稿では,そのようなプロセスを実現する機構を研究するための計算モデルを提案する。
進化のスケールでは、リカレントニューラルネットワークの族である貯水池を進化させます。
我々は、強化学習(RL)を通じた行動政策の学習を容易にするために、これらの進化した貯水池を利用する。
以上の結果から,貯水池の進化は多様な課題の学習を改善することが示唆された。
論文 参考訳(メタデータ) (2023-12-09T16:11:48Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - Brain-inspired Evolutionary Architectures for Spiking Neural Networks [6.607406750195899]
スパイキングニューラルネットワーク(SNN)の効率的なアーキテクチャ最適化について検討する。
本稿では,脳にインスパイアされた局所モジュール構造とグローバルモジュール接続を取り入れたSNNアーキテクチャを進化させる。
本稿では,高性能,効率,消費電力の少ないSNNを用いた,数ショット性能予測器に基づく効率的な多目的進化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-11T06:39:11Z) - Incorporating Neuro-Inspired Adaptability for Continual Learning in
Artificial Intelligence [59.11038175596807]
継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。
既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。
本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
論文 参考訳(メタデータ) (2023-08-29T02:43:58Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳(メタデータ) (2022-08-17T12:36:26Z) - CogNGen: Constructing the Kernel of a Hyperdimensional Predictive
Processing Cognitive Architecture [79.07468367923619]
神経生物学的に妥当な2つの計算モデルを組み合わせた新しい認知アーキテクチャを提案する。
我々は、現代の機械学習技術の力を持つ認知アーキテクチャを開発することを目指している。
論文 参考訳(メタデータ) (2022-03-31T04:44:28Z) - Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics
Organized by Astrocyte-modulated Plasticity [0.0]
液体状態機械(LSM)は勾配のバックプロパゲーションなしで内部重量を調整する。
近年の知見は、アストロサイトがシナプスの可塑性と脳のダイナミクスを調節していることを示唆している。
本稿では, 自己組織的近接臨界力学を用いて, 性能の低いニューロン-アストロサイト液状状態機械 (NALSM) を提案する。
論文 参考訳(メタデータ) (2021-10-26T23:04:40Z) - Embodied Intelligence via Learning and Evolution [92.26791530545479]
環境の複雑さが形態学的知能の進化を促進することを示す。
また、進化は速く学習する形態を素早く選択することを示した。
我々の実験は、ボールドウィン効果とモルフォロジーインテリジェンスの発生の両方の力学的基礎を示唆している。
論文 参考訳(メタデータ) (2021-02-03T18:58:31Z) - A multi-agent model for growing spiking neural networks [0.0]
このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。
シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。
このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
論文 参考訳(メタデータ) (2020-09-21T15:11:29Z) - Evolving Inborn Knowledge For Fast Adaptation in Dynamic POMDP Problems [5.23587935428994]
本稿では,POMDPにおける自己エンコーダの潜伏空間を利用した制御器を進化させるために,ニューラルネットワークの高度適応性を利用する。
生まれながらの知識とオンラインの可塑性の統合は、進化的でないメタ強化学習アルゴリズムと比較して、迅速な適応と性能の向上を可能にした。
論文 参考訳(メタデータ) (2020-04-27T14:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。