論文の概要: Order from chaos: Interplay of development and learning in recurrent
networks of structured neurons
- arxiv url: http://arxiv.org/abs/2402.16763v1
- Date: Mon, 26 Feb 2024 17:30:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 19:50:04.067144
- Title: Order from chaos: Interplay of development and learning in recurrent
networks of structured neurons
- Title（参考訳）: カオスからの秩序:構造化ニューロンの繰り返しネットワークにおける開発と学習の相互作用
- Authors: Laura Kriener, Kristin V\"olk, Ben von H\"unerbein, Federico Benitez,
Walter Senn, Mihai A. Petrovici
- Abstract要約: 2つの集団からなる再帰的ネットワークで複雑な配列を学習するために、完全に局所的で常に可塑性の規則を導入する。
我々のモデルは資源効率が良く、少数のニューロンのみを用いて複雑なシーケンスを学習することができる。
これらの特徴を鳥の鳴き声学習のモックアップで示し、ネットワークはまず長いマルコフ列を学習する。
- 参考スコア（独自算出の注目度）: 1.6880888629604525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Behavior can be described as a temporal sequence of actions driven by neural
activity. To learn complex sequential patterns in neural networks, memories of
past activities need to persist on significantly longer timescales than
relaxation times of single-neuron activity. While recurrent networks can
produce such long transients, training these networks in a biologically
plausible way is challenging. One approach has been reservoir computing, where
only weights from a recurrent network to a readout are learned. Other models
achieve learning of recurrent synaptic weights using propagated errors.
However, their biological plausibility typically suffers from issues with
locality, resource allocation or parameter scales and tuning. We suggest that
many of these issues can be alleviated by considering dendritic information
storage and computation. By applying a fully local, always-on plasticity rule
we are able to learn complex sequences in a recurrent network comprised of two
populations. Importantly, our model is resource-efficient, enabling the
learning of complex sequences using only a small number of neurons. We
demonstrate these features in a mock-up of birdsong learning, in which our
networks first learn a long, non-Markovian sequence that they can then
reproduce robustly despite external disturbances.
- Abstract（参考訳）: 行動は神経活動によって引き起こされる行動の時間的シーケンスとして記述することができる。
ニューラルネットワークで複雑なシーケンシャルパターンを学ぶには、過去の活動の記憶は、単一神経活動の緩和時間よりもかなり長い時間スケールで持続する必要がある。
リカレントネットワークはそのような長いトランジェントを生成することができるが、生物学的に妥当な方法でこれらのネットワークをトレーニングすることは困難である。
1つのアプローチは、リカレントネットワークからリードアウトまでの重みのみを学習する貯水池コンピューティングである。
他のモデルは、伝播誤差を用いて繰り返しシナプス重みの学習を実現する。
しかしながら、生物学的な可能性は通常、局所性、リソース割り当て、パラメータスケール、チューニングといった問題に苦しむ。
これらの問題の多くは、樹状情報記憶と計算を考慮すれば緩和できると提案する。
完全に局所的で常に可塑性の規則を適用することで、2つの集団からなる再帰的ネットワークで複雑なシーケンスを学習することができる。
重要なのは、我々のモデルはリソース効率が高く、少数のニューロンだけで複雑なシーケンスを学習できることです。
これらの特徴を鳥の鳴き声学習のモックアップで示し、我々のネットワークはまず、外乱にもかかわらず頑健に再現できる長いマルコフ列を学習する。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Spiking representation learning for associative memories [0.0]
本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。
モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
論文 参考訳（メタデータ） (2024-06-05T08:30:11Z) - TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential
Modelling [54.97005925277638]
潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。
SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。
そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
論文 参考訳（メタデータ） (2023-08-25T08:54:41Z) - Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。
実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。
したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
論文 参考訳（メタデータ） (2023-07-14T08:51:03Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Impact of spiking neurons leakages and network recurrences on
event-based spatio-temporal pattern recognition [0.0]
ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。
スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
論文 参考訳（メタデータ） (2022-11-14T21:34:02Z) - Spiking Neural Networks for event-based action recognition: A new task to understand their advantage [1.4348901037145936]
スパイキングニューラルネットワーク(SNN)は、そのユニークな時間的ダイナミクスによって特徴づけられる。
フィードフォワードニューラルネットワークにおいて、スパイキングニューロンが時間的特徴抽出を可能にする方法を示す。
また、繰り返しSNNがLSTMに匹敵する結果が得られることを示す。
論文 参考訳（メタデータ） (2022-09-29T16:22:46Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳（メタデータ） (2021-04-21T18:23:31Z) - Exploring weight initialization, diversity of solutions, and degradation
in recurrent neural networks trained for temporal and decision-making tasks [0.0]
リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。
本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
論文 参考訳（メタデータ） (2019-06-03T21:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。