論文の概要: Theories of synaptic memory consolidation and intelligent plasticity for continual learning
- arxiv url: http://arxiv.org/abs/2405.16922v2
- Date: Fri, 18 Oct 2024 06:15:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:23:40.835510
- Title: Theories of synaptic memory consolidation and intelligent plasticity for continual learning
- Title（参考訳）: 連続学習のためのシナプス記憶の統合と知的可塑性の理論
- Authors: Friedemann Zenke, Axel Laborieux,
- Abstract要約: シナプスの可塑性機構は 内部状態を維持し 進化させなければならない
可塑性アルゴリズムは 内部の状態を利用して 個々のシナプスで 可塑性をインテリジェントに制御する必要がある
- 参考スコア（独自算出の注目度）: 7.573586022424398
- License:
- Abstract: Humans and animals learn throughout life. Such continual learning is crucial for intelligence. In this chapter, we examine the pivotal role plasticity mechanisms with complex internal synaptic dynamics could play in enabling this ability in neural networks. By surveying theoretical research, we highlight two fundamental enablers for continual learning. First, synaptic plasticity mechanisms must maintain and evolve an internal state over several behaviorally relevant timescales. Second, plasticity algorithms must leverage the internal state to intelligently regulate plasticity at individual synapses to facilitate the seamless integration of new memories while avoiding detrimental interference with existing ones. Our chapter covers successful applications of these principles to deep neural networks and underscores the significance of synaptic metaplasticity in sustaining continual learning capabilities. Finally, we outline avenues for further research to understand the brain's superb continual learning abilities and harness similar mechanisms for artificial intelligence systems.
- Abstract（参考訳）: 人間と動物は生涯学習する。
このような継続的な学習は知性にとって不可欠である。
本章では、複雑な内部シナプス力学を持つ可塑性機構が、ニューラルネットワークにおけるその機能を実現する上で果たす役割について検討する。
理論的な研究を調査することで、継続学習の基本的な2つの実現方法が浮き彫りになる。
第一に、シナプスの可塑性機構はいくつかの行動に関連する時間スケールで内部状態を維持し、進化させなければならない。
第二に、可塑性アルゴリズムは内部の状態を活用して、個々のシナプスにおける可塑性をインテリジェントに制御し、既存の記憶との有害な干渉を避けながら、新しい記憶のシームレスな統合を促進する必要がある。
本章では,これらの原理を深層ニューラルネットワークに適用し,連続学習能力を維持する上でのシナプス的メタ塑性の重要性を明らかにする。
最後に、脳の超能力である連続学習能力を理解し、同様のメカニズムを人工知能システムに活用するためのさらなる研究の道筋について概説する。
関連論文リスト
- Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。
このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。
これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
論文 参考訳（メタデータ） (2024-10-17T17:47:54Z) - Brain-inspired continual pre-trained learner via silent synaptic consolidation [2.872028467114491]
アーティは、成熟した脳で観察されるスパイク刺激依存性の可塑性を介してサイレントシナプスの活性化機構にインスパイアされている。
学習済みのネットワーク内で学習した知識のメモリ安定性を維持することで、成熟した脳のダイナミクスを模倣する。
推論中、人工的なサイレントと機能的なシナプスを使用して、事前訓練されたネットワークとサブネットワークとの間の正確な接続を確立する。
論文 参考訳（メタデータ） (2024-10-08T10:56:19Z) - Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Learning the Plasticity: Plasticity-Driven Learning Framework in Spiking
Neural Networks [9.25919593660244]
スパイクニューラルネットワーク(SNN)の新しいパラダイム
塑性駆動学習フレームワーク(PDLF)
PDLFは機能的およびシナプス依存的塑性の概念を再定義する。
論文 参考訳（メタデータ） (2023-08-23T11:11:31Z) - Incremental procedural and sensorimotor learning in cognitive humanoid
robots [52.77024349608834]
本研究は,手順を段階的に学習する認知エージェントを提案する。
各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。
結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
論文 参考訳（メタデータ） (2023-04-30T22:51:31Z) - A Study of Biologically Plausible Neural Network: The Role and
Interactions of Brain-Inspired Mechanisms in Continual Learning [13.041607703862724]
人間は絶えず変化する環境から情報を取得し、統合し、保持するのに優れていますが、人工ニューラルネットワーク(ANN)は破滅的な忘れ物を示します。
我々は、デイルの原理に従う排他的および抑制的ニューロンの集団を分離して構成する生物学的に妥当な枠組みを考察する。
次に,脳にインスパイアされた様々なメカニズムの役割と相互作用について包括的研究を行い,その内容は,疎密な非重複表現,ヘビアン学習,シナプス統合,学習イベントに伴う過去の活性化の再現などである。
論文 参考訳（メタデータ） (2023-04-13T16:34:12Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Control of synaptic plasticity via the fusion of reinforcement learning
and unsupervised learning in neural networks [0.0]
認知神経科学では、シナプスの可塑性が我々の驚くべき学習能力に不可欠な役割を担っていると広く受け入れられている。
このインスピレーションにより、強化学習と教師なし学習の融合により、新しい学習規則が提案される。
提案した計算モデルでは,非線形最適制御理論を誤差フィードバックループ系に類似させる。
論文 参考訳（メタデータ） (2023-03-26T12:18:03Z) - Memory-Augmented Theory of Mind Network [59.9781556714202]
社会的推論は、心の理論(ToM)の能力を必要とする。
ToMに対する最近の機械学習アプローチは、観察者が過去を読み、他のエージェントの振る舞いを提示するように訓練できることを実証している。
我々は,新たなニューラルメモリ機構を組み込んで符号化し,階層的な注意を払って他者に関する情報を選択的に検索することで,課題に対処する。
この結果、ToMMYは心的プロセスについての仮定をほとんど行わずに理性を学ぶマインドモデルである。
論文 参考訳（メタデータ） (2023-01-17T14:48:58Z) - From Biological Synapses to Intelligent Robots [0.0]
ヘビアンシナプス学習は、機械学習とインテリジェンスのための機能的関連モデルとして議論されている。
適応的な学習と制御の可能性を、監督なしで先導する。
ここで収集された洞察は、インテリジェントなロボティクスとセンサーシステムの選択ソリューションとして、Hebbianモデルに向けられている。
論文 参考訳（メタデータ） (2022-02-25T12:39:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。