論文の概要: Online Memorization of Random Firing Sequences by a Recurrent Neural Network

• arxiv url: http://arxiv.org/abs/2001.02920v1
• Date: Thu, 9 Jan 2020 11:02:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 04:11:16.991259
• Title: Online Memorization of Random Firing Sequences by a Recurrent Neural Network
• Title（参考訳）: リカレントニューラルネットワークによるランダムフィリングシーケンスのオンライン記憶
• Authors: Patrick Murer and Hans-Andrea Loeliger
• Abstract要約: 学習/記憶の2つのモードが考慮されている: 1つ目のモードは厳密にオンラインであり、1つのモードがデータを通過する一方、2番目のモードはデータを通る複数のパスを使用する。 どちらのモードでも、学習は厳密な局所的(準ヘビアン):任意の段階において、前段階のニューロンの発火(または発火)と現在の段階の発火(または発火)の間の重みだけを変更する。
• 参考スコア（独自算出の注目度）: 12.944868613449218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the capability of a recurrent neural network model to memorize random dynamical firing patterns by a simple local learning rule. Two modes of learning/memorization are considered: The first mode is strictly online, with a single pass through the data, while the second mode uses multiple passes through the data. In both modes, the learning is strictly local (quasi-Hebbian): At any given time step, only the weights between the neurons firing (or supposed to be firing) at the previous time step and those firing (or supposed to be firing) at the present time step are modified. The main result of the paper is an upper bound on the probability that the single-pass memorization is not perfect. It follows that the memorization capacity in this mode asymptotically scales like that of the classical Hopfield model (which, in contrast, memorizes static patterns). However, multiple-rounds memorization is shown to achieve a higher capacity (with a nonvanishing number of bits per connection/synapse). These mathematical findings may be helpful for understanding the functions of short-term memory and long-term memory in neuroscience.
• Abstract（参考訳）: 本稿では,局所学習ルールを用いてランダムな動的発火パターンを記憶するリカレントニューラルネットワークモデルの能力について検討する。 学習/記憶の2つのモードが考慮されている: 1つ目のモードは厳密にオンラインであり、1つのモードがデータを通過する。 どちらのモードにおいても、学習は厳密に局所的(クァシ・ヘビアン)であり、任意の時間段階において、前時間段階におけるニューロンの発火(または発火)と現在の段階における発火(または発火)の間の重みのみが修正される。 この論文の主な結果は、単パス記憶が完全ではない確率の上界である。 このモードにおける記憶能力は、古典的なホップフィールドモデルのように漸近的にスケールする(対照的に静的パターンを記憶する)。 しかし、複数ラウンドの記憶は(接続/シナプス当たりのビット数で)高い容量を達成することが示される。 これらの数学的発見は、神経科学における短期記憶と長期記憶の機能を理解するのに役立つかもしれない。

関連論文リスト

• Learning time-scales in two-layers neural networks [11.878594839685471]
  高次元の広層ニューラルネットワークの勾配流れのダイナミクスについて検討する。 新たな厳密な結果に基づいて,この環境下での学習力学のシナリオを提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:52:26Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• An associative memory model with very high memory rate: Image storage by sequential addition learning [0.0]
  本システムは、キューボール内の1つのキューニューロンとリコールネット内のニューロンとの双方向学習を実現する。 多くのパターンを記憶し、これらのパターンや、いつでも似たパターンを思い出すことができる。
  論文  参考訳（メタデータ） (2022-10-08T02:56:23Z)
• The impact of memory on learning sequence-to-sequence tasks [6.603326895384289]
  自然言語処理におけるニューラルネットワークの最近の成功は、シーケンシャル・ツー・シーケンス(seq2seq)タスクに新たな注目を集めている。 本稿では,シークエンスにおけるメモリの次数,すなわち非マルコビアン性に対する明示的な制御の利点を生かしたSeq2seqタスクのモデルを提案する。
  論文  参考訳（メタデータ） (2022-05-29T14:57:33Z)
• A Meta-Learned Neuron model for Continual Learning [0.0]
  継続的な学習は、以前に学んだ知識を忘れずに新しい知識を得る能力である。 本研究では、標準的なニューロンをメタ学習ニューロンモデルで置き換える。 提案手法は,トレーニングサンプルのデータセット長シーケンスを記憶し,その学習能力を任意のドメインに一般化する。
  論文  参考訳（メタデータ） (2021-11-03T23:39:14Z)
• Astrocytes mediate analogous memory in a multi-layer neuron-astrocytic network [52.77024349608834]
  情報の一部が数秒間堅牢な活動パターンとして維持され、他の刺激が来なければ完全に消滅することを示す。 この種の短期記憶は、操作情報を数秒保存し、次のパターンとの重複を避けるために完全に忘れてしまう。 任意のパターンをロードし、一定の間隔で保存し、適切な手掛かりパターンを入力に適用した場合に検索する方法について示す。
  論文  参考訳（メタデータ） (2021-08-31T16:13:15Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。