論文の概要: Short-Term Plasticity Neurons Learning to Learn and Forget
- arxiv url: http://arxiv.org/abs/2206.14048v1
- Date: Tue, 28 Jun 2022 14:47:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-29 12:09:05.453591
- Title: Short-Term Plasticity Neurons Learning to Learn and Forget
- Title(参考訳): 学習と忘れることを学ぶ短期可塑性ニューロン
- Authors: Hector Garcia Rodriguez, Qinghai Guo, Timoleon Moraitis
- Abstract要約: 短期可塑性(英: Short-term plasticity、STP)は、大脳皮質のシナプスに崩壊する記憶を保存するメカニズムである。
ここでは、新しいタイプのリカレントニューラルネットワークであるAtari Neuron(STPN)を紹介します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Short-term plasticity (STP) is a mechanism that stores decaying memories in
synapses of the cerebral cortex. In computing practice, STP has been used, but
mostly in the niche of spiking neurons, even though theory predicts that it is
the optimal solution to certain dynamic tasks. Here we present a new type of
recurrent neural unit, the STP Neuron (STPN), which indeed turns out strikingly
powerful. Its key mechanism is that synapses have a state, propagated through
time by a self-recurrent connection-within-the-synapse. This formulation
enables training the plasticity with backpropagation through time, resulting in
a form of learning to learn and forget in the short term. The STPN outperforms
all tested alternatives, i.e. RNNs, LSTMs, other models with fast weights, and
differentiable plasticity. We confirm this in both supervised and reinforcement
learning (RL), and in tasks such as Associative Retrieval, Maze Exploration,
Atari video games, and MuJoCo robotics. Moreover, we calculate that, in
neuromorphic or biological circuits, the STPN minimizes energy consumption
across models, as it depresses individual synapses dynamically. Based on these,
biological STP may have been a strong evolutionary attractor that maximizes
both efficiency and computational power. The STPN now brings these neuromorphic
advantages also to a broad spectrum of machine learning practice. Code is
available at https://github.com/NeuromorphicComputing/stpn
- Abstract(参考訳): 短期可塑性(stp)は、大脳皮質シナプスに記憶を蓄積するメカニズムである。
コンピューティングの実践において、STPは、主にスパイクニューロンのニッチで使われてきたが、理論は特定の動的タスクに対する最適解であると予測している。
ここでは、新しいタイプのリカレント神経ユニットであるSTP Neuron(STPN)を紹介します。
その鍵となるメカニズムはシナプスが時間を通じて伝播する状態を持つことである。
この定式化は、時間の経過とともに可塑性をトレーニングし、短期的に学習し忘れる学習形態をもたらす。
STPNは試験された全ての代替品、すなわちRNN、LSTM、重量の速い他のモデル、および可塑性に優れる。
我々はこれを教師付き学習と強化学習(rl)の両方、および連想検索、迷路探索、atariビデオゲーム、およびmujoco roboticsで確認する。
さらに、神経形回路や生体回路において、STPNは個々のシナプスを動的に抑制するので、モデル間でのエネルギー消費を最小化する。
これらのことから、生物学的STPは効率と計算能力の両方を最大化する強力な進化的誘引器であった可能性がある。
STPNはこれらのニューロモルフィックの利点を機械学習の実践の幅広い範囲にもたらした。
コードはhttps://github.com/NeuromorphicComputing/stpnで入手できる。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳(メタデータ) (2024-02-26T15:01:54Z) - Learning with Chemical versus Electrical Synapses -- Does it Make a
Difference? [61.85704286298537]
バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。
我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
論文 参考訳(メタデータ) (2023-11-21T13:07:20Z) - Neuromorphic Hebbian learning with magnetic tunnel junction synapses [41.92764939721262]
磁気トンネル接合(MTJ)の双対抵抗状態による高精度推論を実現するニューロモルフィックネットワークの提案と実験的検討を行った。
MTJシナプスで直接実装したニューロモルフィックネットワークの最初の実演を行った。
また,STT-MTJシナプスを用いた非教師型ヘビアン学習システムにより,MNIST手書き文字認識の競争精度が向上できることをシミュレーションにより実証した。
論文 参考訳(メタデータ) (2023-08-21T19:58:44Z) - ETLP: Event-based Three-factor Local Plasticity for online learning with
neuromorphic hardware [105.54048699217668]
イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。
また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
論文 参考訳(メタデータ) (2023-01-19T19:45:42Z) - Sequence learning in a spiking neuronal network with memristive synapses [0.0]
脳計算の中心にある中核的な概念は、シーケンス学習と予測である。
ニューロモルフィックハードウェアは、脳が情報を処理する方法をエミュレートし、ニューロンとシナプスを直接物理的基質にマッピングする。
シークエンス学習モデルにおける生物学的シナプスの代替としてReRAMデバイスを使用することの可能性について検討する。
論文 参考訳(メタデータ) (2022-11-29T21:07:23Z) - Mapping and Validating a Point Neuron Model on Intel's Neuromorphic
Hardware Loihi [77.34726150561087]
インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。
Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。
Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
論文 参考訳(メタデータ) (2021-09-22T16:52:51Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳(メタデータ) (2021-04-21T18:23:31Z) - Continual Learning with Deep Artificial Neurons [0.0]
本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。
ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。
適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
論文 参考訳(メタデータ) (2020-11-13T17:50:10Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳(メタデータ) (2020-11-12T06:06:33Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。