論文の概要: ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks
- arxiv url: http://arxiv.org/abs/2402.16763v2
- Date: Fri, 27 Sep 2024 11:49:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 06:55:51.421952
- Title: ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks
- Title(参考訳): ELiSe: 構造化されたリカレントネットワークにおけるシーケンスの効率的な学習
- Authors: Laura Kriener, Kristin Völk, Ben von Hünerbein, Federico Benitez, Walter Senn, Mihai A. Petrovici,
- Abstract要約: 局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。
鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
- 参考スコア(独自算出の注目度): 1.5931140598271163
- License:
- Abstract: Behavior can be described as a temporal sequence of actions driven by neural activity. To learn complex sequential patterns in neural networks, memories of past activities need to persist on significantly longer timescales than the relaxation times of single-neuron activity. While recurrent networks can produce such long transients, training these networks is a challenge. Learning via error propagation confers models such as FORCE, RTRL or BPTT a significant functional advantage, but at the expense of biological plausibility. While reservoir computing circumvents this issue by learning only the readout weights, it does not scale well with problem complexity. We propose that two prominent structural features of cortical networks can alleviate these issues: the presence of a certain network scaffold at the onset of learning and the existence of dendritic compartments for enhancing neuronal information storage and computation. Our resulting model for Efficient Learning of Sequences (ELiSe) builds on these features to acquire and replay complex non-Markovian spatio-temporal patterns using only local, always-on and phase-free synaptic plasticity. We showcase the capabilities of ELiSe in a mock-up of birdsong learning, and demonstrate its flexibility with respect to parametrization, as well as its robustness to external disturbances.
- Abstract(参考訳): 行動は、神経活動によって引き起こされる行動の時間的シーケンスとして記述することができる。
ニューラルネットワークで複雑なシーケンシャルパターンを学習するには、単一ニューロンの活動の緩和時間よりもはるかに長い時間スケールで過去のアクティビティの記憶を持続する必要がある。
リカレントネットワークはそのような長いトランジェントを生成することができるが、これらのネットワークのトレーニングは難しい。
エラー伝播による学習は、Force、RTRL、BPTTなどのモデルが重要な機能上の利点であるが、生物学的な妥当性を犠牲にしている。
貯水池計算は、読み出し重量のみを学習することでこの問題を回避するが、問題複雑度ではうまくスケールしない。
本稿では, 学習開始時のネットワーク足場の存在と, 神経情報記憶・計算の高度化のための樹状部の存在という, 皮質ネットワークの構造的特徴がこれらの問題を緩和できることを示す。
EiSe(Efficient Learning of Sequences)は, 局所的, 常オン的, 位相自由なシナプス塑性のみを用いて, 複雑な非マルコフ時空間パターンの獲得と再生を行う。
鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに対する柔軟性と外乱に対する堅牢性を示す。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。
ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。
本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
論文 参考訳(メタデータ) (2023-01-17T20:52:48Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳(メタデータ) (2021-12-09T07:11:14Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳(メタデータ) (2021-04-21T18:23:31Z) - Thinking Deeply with Recurrence: Generalizing from Easy to Hard
Sequential Reasoning Problems [51.132938969015825]
我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。
再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
論文 参考訳(メタデータ) (2021-02-22T14:09:20Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳(メタデータ) (2020-11-12T06:06:33Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - A Deep 2-Dimensional Dynamical Spiking Neuronal Network for Temporal
Encoding trained with STDP [10.982390333064536]
哺乳動物の大脳皮質を模倣する動的・カオス的な活動を持つ大きな層状SNNは、時間的データから情報を符号化することができることを示す。
ネットワーク重みに固有のランダム性は、STDPによる自己組織化後に入力される時間データを符号化するグループを形成することができると主張している。
情報伝達の指標として,ネットワークエントロピーの観点からネットワークを解析する。
論文 参考訳(メタデータ) (2020-09-01T17:12:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。