論文の概要: Order from chaos: Interplay of development and learning in recurrent
networks of structured neurons
- arxiv url: http://arxiv.org/abs/2402.16763v1
- Date: Mon, 26 Feb 2024 17:30:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 19:50:04.067144
- Title: Order from chaos: Interplay of development and learning in recurrent
networks of structured neurons
- Title(参考訳): カオスからの秩序:構造化ニューロンの繰り返しネットワークにおける開発と学習の相互作用
- Authors: Laura Kriener, Kristin V\"olk, Ben von H\"unerbein, Federico Benitez,
Walter Senn, Mihai A. Petrovici
- Abstract要約: 2つの集団からなる再帰的ネットワークで複雑な配列を学習するために、完全に局所的で常に可塑性の規則を導入する。
我々のモデルは資源効率が良く、少数のニューロンのみを用いて複雑なシーケンスを学習することができる。
これらの特徴を鳥の鳴き声学習のモックアップで示し、ネットワークはまず長いマルコフ列を学習する。
- 参考スコア(独自算出の注目度): 1.6880888629604525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Behavior can be described as a temporal sequence of actions driven by neural
activity. To learn complex sequential patterns in neural networks, memories of
past activities need to persist on significantly longer timescales than
relaxation times of single-neuron activity. While recurrent networks can
produce such long transients, training these networks in a biologically
plausible way is challenging. One approach has been reservoir computing, where
only weights from a recurrent network to a readout are learned. Other models
achieve learning of recurrent synaptic weights using propagated errors.
However, their biological plausibility typically suffers from issues with
locality, resource allocation or parameter scales and tuning. We suggest that
many of these issues can be alleviated by considering dendritic information
storage and computation. By applying a fully local, always-on plasticity rule
we are able to learn complex sequences in a recurrent network comprised of two
populations. Importantly, our model is resource-efficient, enabling the
learning of complex sequences using only a small number of neurons. We
demonstrate these features in a mock-up of birdsong learning, in which our
networks first learn a long, non-Markovian sequence that they can then
reproduce robustly despite external disturbances.
- Abstract(参考訳): 行動は神経活動によって引き起こされる行動の時間的シーケンスとして記述することができる。
ニューラルネットワークで複雑なシーケンシャルパターンを学ぶには、過去の活動の記憶は、単一神経活動の緩和時間よりもかなり長い時間スケールで持続する必要がある。
リカレントネットワークはそのような長いトランジェントを生成することができるが、生物学的に妥当な方法でこれらのネットワークをトレーニングすることは困難である。
1つのアプローチは、リカレントネットワークからリードアウトまでの重みのみを学習する貯水池コンピューティングである。
他のモデルは、伝播誤差を用いて繰り返しシナプス重みの学習を実現する。
しかしながら、生物学的な可能性は通常、局所性、リソース割り当て、パラメータスケール、チューニングといった問題に苦しむ。
これらの問題の多くは、樹状情報記憶と計算を考慮すれば緩和できると提案する。
完全に局所的で常に可塑性の規則を適用することで、2つの集団からなる再帰的ネットワークで複雑なシーケンスを学習することができる。
重要なのは、我々のモデルはリソース効率が高く、少数のニューロンだけで複雑なシーケンスを学習できることです。
これらの特徴を鳥の鳴き声学習のモックアップで示し、我々のネットワークはまず、外乱にもかかわらず頑健に再現できる長いマルコフ列を学習する。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。
ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。
本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
論文 参考訳(メタデータ) (2023-01-17T20:52:48Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳(メタデータ) (2021-12-09T07:11:14Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳(メタデータ) (2021-04-21T18:23:31Z) - Thinking Deeply with Recurrence: Generalizing from Easy to Hard
Sequential Reasoning Problems [51.132938969015825]
我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。
再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
論文 参考訳(メタデータ) (2021-02-22T14:09:20Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳(メタデータ) (2020-11-12T06:06:33Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - A Deep 2-Dimensional Dynamical Spiking Neuronal Network for Temporal
Encoding trained with STDP [10.982390333064536]
哺乳動物の大脳皮質を模倣する動的・カオス的な活動を持つ大きな層状SNNは、時間的データから情報を符号化することができることを示す。
ネットワーク重みに固有のランダム性は、STDPによる自己組織化後に入力される時間データを符号化するグループを形成することができると主張している。
情報伝達の指標として,ネットワークエントロピーの観点からネットワークを解析する。
論文 参考訳(メタデータ) (2020-09-01T17:12:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。