Fugu-MT 論文翻訳(概要): Hebbian and Gradient-based Plasticity Enables Robust Memory and Rapid Learning in RNNs

論文の概要: Hebbian and Gradient-based Plasticity Enables Robust Memory and Rapid Learning in RNNs

arxiv url: http://arxiv.org/abs/2302.03235v1
Date: Tue, 7 Feb 2023 03:42:42 GMT
ステータス: 処理完了
システム内更新日: 2023-02-08 17:36:59.256182
Title: Hebbian and Gradient-based Plasticity Enables Robust Memory and Rapid Learning in RNNs
Title（参考訳）: RNNにおけるロバストメモリと高速学習を実現するHebbian and Gradient-based Plasticity
Authors: Yu Duan, Zhongfan Jia, Qian Li, Yi Zhong, Kaisheng Ma
Abstract要約: シナプスの可塑性は記憶の形成と学習において重要な役割を担っているという証拠がある。リカレントニューラルネットワークに塑性規則を付与し、進行中の経験に応じてパラメータを適応できるようにします。本モデルでは, 逐次的, 連想的メモリタスクにおける有望な結果を示し, 記憶を堅牢に形成, 維持する能力を示す。
参考スコア（独自算出の注目度）: 13.250455334302288
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Rapidly learning from ongoing experiences and remembering past events with a flexible memory system are two core capacities of biological intelligence. While the underlying neural mechanisms are not fully understood, various evidence supports that synaptic plasticity plays a critical role in memory formation and fast learning. Inspired by these results, we equip Recurrent Neural Networks (RNNs) with plasticity rules to enable them to adapt their parameters according to ongoing experiences. In addition to the traditional local Hebbian plasticity, we propose a global, gradient-based plasticity rule, which allows the model to evolve towards its self-determined target. Our models show promising results on sequential and associative memory tasks, illustrating their ability to robustly form and retain memories. In the meantime, these models can cope with many challenging few-shot learning problems. Comparing different plasticity rules under the same framework shows that Hebbian plasticity is well-suited for several memory and associative learning tasks; however, it is outperformed by gradient-based plasticity on few-shot regression tasks which require the model to infer the underlying mapping. Code is available at https://github.com/yuvenduan/PlasticRNNs.
Abstract（参考訳）: 進行中の経験から素早く学び、柔軟な記憶システムで過去の出来事を記憶することは、生物学的知能の2つのコア能力である。基礎となる神経機構は完全には理解されていないが、シナプスの可塑性が記憶の形成と学習において重要な役割を果たすという様々な証拠がある。これらの結果にインスパイアされ、再生ニューラルネットワーク(RNN)に塑性規則を付与し、進行中の経験に応じてパラメータを適応させる。従来の局所的なヘビアン可塑性に加えて, モデルが自己決定目標に向かって進化することを可能にする, 勾配に基づく大域的可塑性則を提案する。本モデルでは, 逐次的, 連想的メモリタスクにおける有望な結果を示し, 記憶を堅牢に形成, 維持する能力を示す。その間、これらのモデルは多くの難題の少ない学習問題に対処できる。同じ枠組みの下で異なる可塑性規則を比較すると、ハビアン可塑性はいくつかの記憶と連想学習タスクに適しているが、基礎となるマッピングを推論するためにモデルを必要とする数発の回帰タスクにおいて勾配に基づく可塑性よりも優れていた。コードはhttps://github.com/yuvenduan/PlasticRNNsで入手できる。

関連論文リスト

Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文参考訳（メタデータ） (2024-10-14T03:50:17Z)
Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文参考訳（メタデータ） (2024-09-17T04:48:45Z)
Neuromimetic metaplasticity for adaptive continual learning [2.1749194587826026]
本研究では,人間の作業記憶にインスパイアされたメタ塑性モデルを提案する。このアプローチの重要な側面は、安定から柔軟性までの異なるタイプのシナプスを実装し、それらをランダムに混在させて、柔軟性の異なるシナプス接続をトレーニングすることである。このモデルは、追加の訓練や構造変更を必要とせず、メモリ容量と性能のバランスのとれたトレードオフを実現した。
論文参考訳（メタデータ） (2024-07-09T12:21:35Z)
MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文参考訳（メタデータ） (2024-04-11T15:46:42Z)
Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文参考訳（メタデータ） (2024-02-26T15:01:54Z)
PLASTIC: Improving Input and Label Plasticity for Sample Efficient Reinforcement Learning [54.409634256153154]
強化学習(RL)では, サンプル効率の向上が重要である。原則として、非政治的なRLアルゴリズムは、環境相互作用毎に複数の更新を可能にすることで、サンプル効率を向上させることができる。本研究は, この現象の原因を, 塑性を2つの側面に分けて検討した。
論文参考訳（メタデータ） (2023-06-19T06:14:51Z)
Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
論文参考訳（メタデータ） (2023-06-07T13:08:46Z)
Memory-enriched computation and learning in spiking neural networks through Hebbian plasticity [9.453554184019108]
ヘビアン可塑性は生物学的記憶において重要な役割を担っていると考えられている。本稿では,ヘビーンのシナプス可塑性に富む新しいスパイクニューラルネットワークアーキテクチャを提案する。ヘビーンの豊かさは、ニューラルネットワークの計算能力と学習能力の点で驚くほど多彩であることを示す。
論文参考訳（メタデータ） (2022-05-23T12:48:37Z)
Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文参考訳（メタデータ） (2021-12-09T07:11:14Z)
Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
論文参考訳（メタデータ） (2020-06-30T06:42:19Z)
Backpropamine: training self-modifying neural networks with differentiable neuromodulated plasticity [14.19992298135814]
このような神経修飾塑性を持つ人工ニューラルネットワークは、勾配降下でトレーニングできることを初めて示す。神経変調塑性は、強化学習と教師あり学習の両方においてニューラルネットワークの性能を向上させることを示す。
論文参考訳（メタデータ） (2020-02-24T23:19:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。