論文の概要: Short-Term Plasticity Neurons Learning to Learn and Forget

• arxiv url: http://arxiv.org/abs/2206.14048v1
• Date: Tue, 28 Jun 2022 14:47:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-29 12:09:05.453591
• Title: Short-Term Plasticity Neurons Learning to Learn and Forget
• Title（参考訳）: 学習と忘れることを学ぶ短期可塑性ニューロン
• Authors: Hector Garcia Rodriguez, Qinghai Guo, Timoleon Moraitis
• Abstract要約: 短期可塑性(英: Short-term plasticity、STP)は、大脳皮質のシナプスに崩壊する記憶を保存するメカニズムである。 ここでは、新しいタイプのリカレントニューラルネットワークであるAtari Neuron(STPN)を紹介します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Short-term plasticity (STP) is a mechanism that stores decaying memories in synapses of the cerebral cortex. In computing practice, STP has been used, but mostly in the niche of spiking neurons, even though theory predicts that it is the optimal solution to certain dynamic tasks. Here we present a new type of recurrent neural unit, the STP Neuron (STPN), which indeed turns out strikingly powerful. Its key mechanism is that synapses have a state, propagated through time by a self-recurrent connection-within-the-synapse. This formulation enables training the plasticity with backpropagation through time, resulting in a form of learning to learn and forget in the short term. The STPN outperforms all tested alternatives, i.e. RNNs, LSTMs, other models with fast weights, and differentiable plasticity. We confirm this in both supervised and reinforcement learning (RL), and in tasks such as Associative Retrieval, Maze Exploration, Atari video games, and MuJoCo robotics. Moreover, we calculate that, in neuromorphic or biological circuits, the STPN minimizes energy consumption across models, as it depresses individual synapses dynamically. Based on these, biological STP may have been a strong evolutionary attractor that maximizes both efficiency and computational power. The STPN now brings these neuromorphic advantages also to a broad spectrum of machine learning practice. Code is available at https://github.com/NeuromorphicComputing/stpn
• Abstract（参考訳）: 短期可塑性(stp)は、大脳皮質シナプスに記憶を蓄積するメカニズムである。 コンピューティングの実践において、STPは、主にスパイクニューロンのニッチで使われてきたが、理論は特定の動的タスクに対する最適解であると予測している。 ここでは、新しいタイプのリカレント神経ユニットであるSTP Neuron(STPN)を紹介します。 その鍵となるメカニズムはシナプスが時間を通じて伝播する状態を持つことである。 この定式化は、時間の経過とともに可塑性をトレーニングし、短期的に学習し忘れる学習形態をもたらす。 STPNは試験された全ての代替品、すなわちRNN、LSTM、重量の速い他のモデル、および可塑性に優れる。 我々はこれを教師付き学習と強化学習(rl)の両方、および連想検索、迷路探索、atariビデオゲーム、およびmujoco roboticsで確認する。 さらに、神経形回路や生体回路において、STPNは個々のシナプスを動的に抑制するので、モデル間でのエネルギー消費を最小化する。 これらのことから、生物学的STPは効率と計算能力の両方を最大化する強力な進化的誘引器であった可能性がある。 STPNはこれらのニューロモルフィックの利点を機械学習の実践の幅広い範囲にもたらした。 コードはhttps://github.com/NeuromorphicComputing/stpnで入手できる。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Neuron-centric Hebbian Learning [3.195234044113248]
  神経中心型ヘビアンラーニング(NcHL)と呼ばれる新しい塑性モデルを提案する。 ABCD法則と比較すると、NcHLはパラメータを5W$から5N$に減らし、重量とニューロンの数に$W$と$N$、通常$N ll W$に減らしている。 我々はまた、ニューロンの活性化の記録に基づいて重みを近似することにより、より少ないメモリを必要とする、無重量のNcHLモデルも考案した。
  論文  参考訳（メタデータ） (2024-02-16T17:38:28Z)
• Learning with Chemical versus Electrical Synapses -- Does it Make a Difference? [61.85704286298537]
  バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。 我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
  論文  参考訳（メタデータ） (2023-11-21T13:07:20Z)
• Neuromorphic Hebbian learning with magnetic tunnel junction synapses [41.92764939721262]
  磁気トンネル接合(MTJ)の双対抵抗状態による高精度推論を実現するニューロモルフィックネットワークの提案と実験的検討を行った。 MTJシナプスで直接実装したニューロモルフィックネットワークの最初の実演を行った。 また,STT-MTJシナプスを用いた非教師型ヘビアン学習システムにより,MNIST手書き文字認識の競争精度が向上できることをシミュレーションにより実証した。
  論文  参考訳（メタデータ） (2023-08-21T19:58:44Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Sequence learning in a spiking neuronal network with memristive synapses [0.0]
  脳計算の中心にある中核的な概念は、シーケンス学習と予測である。 ニューロモルフィックハードウェアは、脳が情報を処理する方法をエミュレートし、ニューロンとシナプスを直接物理的基質にマッピングする。 シークエンス学習モデルにおける生物学的シナプスの代替としてReRAMデバイスを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2022-11-29T21:07:23Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
  複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。 我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
  論文  参考訳（メタデータ） (2021-04-21T18:23:31Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。