論文の概要: A bio-inspired bistable recurrent cell allows for long-lasting memory

• arxiv url: http://arxiv.org/abs/2006.05252v1
• Date: Tue, 9 Jun 2020 13:36:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 13:35:14.248853
• Title: A bio-inspired bistable recurrent cell allows for long-lasting memory
• Title（参考訳）: バイオインスパイアされたビスタブルリカレントセルは長期記憶を可能にする
• Authors: Nicolas Vecoven and Damien Ernst and Guillaume Drion
• Abstract要約: 生体ニューロンの不安定性からインスピレーションを得て,長期記憶を持つRNNを細胞レベルで埋め込む。 これにより、新しいバイスタブルな生物学的にインスパイアされたリカレント細胞が登場し、時系列におけるRNNのパフォーマンスを強く改善することが示されている。
• 参考スコア（独自算出の注目度）: 3.828689444527739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) provide state-of-the-art performances in a wide variety of tasks that require memory. These performances can often be achieved thanks to gated recurrent cells such as gated recurrent units (GRU) and long short-term memory (LSTM). Standard gated cells share a layer internal state to store information at the network level, and long term memory is shaped by network-wide recurrent connection weights. Biological neurons on the other hand are capable of holding information at the cellular level for an arbitrary long amount of time through a process called bistability. Through bistability, cells can stabilize to different stable states depending on their own past state and inputs, which permits the durable storing of past information in neuron state. In this work, we take inspiration from biological neuron bistability to embed RNNs with long-lasting memory at the cellular level. This leads to the introduction of a new bistable biologically-inspired recurrent cell that is shown to strongly improves RNN performance on time-series which require very long memory, despite using only cellular connections (all recurrent connections are from neurons to themselves, i.e. a neuron state is not influenced by the state of other neurons). Furthermore, equipping this cell with recurrent neuromodulation permits to link them to standard GRU cells, taking a step towards the biological plausibility of GRU.
• Abstract（参考訳）: recurrent neural networks(rnn)は、メモリを必要とするさまざまなタスクで最先端のパフォーマンスを提供する。 これらの性能は、ゲートリカレントユニット(GRU)や長い短期記憶(LSTM)のようなゲートリカレントセルによって達成されることが多い。 標準ゲートセルは、ネットワークレベルで情報を格納する層内部状態を共有し、長期記憶はネットワーク全体の再帰的接続重みによって形成される。 一方、生体ニューロンは、bistabilityと呼ばれるプロセスを通じて、任意の時間の間、細胞レベルで情報を保持することができる。 不安定性によって、細胞は自身の過去の状態と入力に応じて異なる安定した状態に安定し、過去の情報をニューロンの状態に永続的に保存することができる。 本研究では、生体ニューロンの不安定性からインスピレーションを得て、長期記憶を持つRNNを細胞レベルで埋め込む。 これは、細胞内接続のみを使用しながら、非常に長いメモリを必要とする時系列でのRNN性能を強く改善することが示されている(すべてのリカレント接続はニューロンからそれ自身、すなわちニューロン状態は他のニューロンの状態の影響を受けない)新しいビスタブル生物学的にインスパイアされた新しいリカレント細胞の導入につながっている。 さらに、この細胞に繰り返し神経調節を施すことで、標準のGRU細胞と結合することができ、GRUの生物学的有用性への一歩を踏み出すことができる。

関連論文リスト

• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
  LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。 ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。 本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
  論文  参考訳（メタデータ） (2023-01-17T20:52:48Z)
• Mesoscopic modeling of hidden spiking neurons [3.6868085124383616]
  我々は粗粒度と平均場近似を用いて、ボトムアップ・ニューラルグラウンド付き潜在変数モデル(neuLVM)を導出する。 neuLVMは、繰り返し発生するマルチポピュレーションスパイクニューラルネットワーク(SNN)に明示的にマッピングできる シンセティックスパイク列車では,数個の観察されたニューロンが,大きなSNNの効率的なモデル逆転を実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-05-26T17:04:39Z)
• Working Memory Connections for LSTM [51.742526187978726]
  ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。 数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
  論文  参考訳（メタデータ） (2021-08-31T18:01:30Z)
• Astrocytes mediate analogous memory in a multi-layer neuron-astrocytic network [52.77024349608834]
  情報の一部が数秒間堅牢な活動パターンとして維持され、他の刺激が来なければ完全に消滅することを示す。 この種の短期記憶は、操作情報を数秒保存し、次のパターンとの重複を避けるために完全に忘れてしまう。 任意のパターンをロードし、一定の間隔で保存し、適切な手掛かりパターンを入力に適用した場合に検索する方法について示す。
  論文  参考訳（メタデータ） (2021-08-31T16:13:15Z)
• Towards self-organized control: Using neural cellular automata to robustly control a cart-pole agent [62.997667081978825]
  我々は、カートポールエージェントを制御するために、ニューラルセルオートマトンを使用する。 我々は、Q値の推定値として出力セルの状態を用いる深層学習を用いてモデルを訓練した。
  論文  参考訳（メタデータ） (2021-06-29T10:49:42Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。