論文の概要: Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning
- arxiv url: http://arxiv.org/abs/2504.14727v1
- Date: Sun, 20 Apr 2025 19:53:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 20:31:49.662569
- Title: Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning
- Title（参考訳）: 半パラメトリックメモリ統合 : 脳のような深層学習を目指して
- Authors: Geng Liu, Fei Zhu, Rong Feng, Zhiqiang Yi, Shiqi Wang, Gaofeng Meng, Zhaoxiang Zhang,
- Abstract要約: 本稿では,半パラメトリックメモリと覚醒・睡眠統合機構を統合したバイオミメティック連続学習フレームワークを提案する。
提案手法は,実世界の挑戦的連続学習シナリオにおいて,先行知識を維持しつつ,新しいタスクにおけるディープニューラルネットワークの高性能維持を可能にする。
- 参考スコア（独自算出の注目度）: 59.35015431695172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans and most animals inherently possess a distinctive capacity to continually acquire novel experiences and accumulate worldly knowledge over time. This ability, termed continual learning, is also critical for deep neural networks (DNNs) to adapt to the dynamically evolving world in open environments. However, DNNs notoriously suffer from catastrophic forgetting of previously learned knowledge when trained on sequential tasks. In this work, inspired by the interactive human memory and learning system, we propose a novel biomimetic continual learning framework that integrates semi-parametric memory and the wake-sleep consolidation mechanism. For the first time, our method enables deep neural networks to retain high performance on novel tasks while maintaining prior knowledge in real-world challenging continual learning scenarios, e.g., class-incremental learning on ImageNet. This study demonstrates that emulating biological intelligence provides a promising path to enable deep neural networks with continual learning capabilities.
- Abstract（参考訳）: 人間とほとんどの動物は本質的に、新しい経験を継続的に獲得し、時間とともに世界的知識を蓄積する独特な能力を持っている。
この能力は連続学習と呼ばれ、深層ニューラルネットワーク(DNN)がオープン環境で動的に進化する世界に適応するためにも重要である。
しかし、DNNは、シーケンシャルなタスクで訓練された際に、これまで学んだ知識を忘れてしまうという破滅的な問題に悩まされている。
本研究では,対話型人間の記憶・学習システムに触発されて,半パラメトリックメモリと覚醒・睡眠統合機構を統合した生体模倣型連続学習フレームワークを提案する。
提案手法は,ImageNet上でのクラス増分学習など,現実的な挑戦的連続学習シナリオにおいて,先行知識を維持しつつ,新しいタスク上での深いニューラルネットワークによるハイパフォーマンス維持を可能にする。
本研究は,生物知能をエミュレートすることで,深層ニューラルネットワークを連続学習能力で実現できることを示す。
関連論文リスト
- Hybrid Learners Do Not Forget: A Brain-Inspired Neuro-Symbolic Approach to Continual Learning [20.206972068340843]
継続的な学習は、自律的に学習し、改善できるAIエージェントを作成するために不可欠である。
ヒト脳の2つの異なるシステムにインスパイアされた我々は、ニューロシンボリック脳誘発連続学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-16T20:09:19Z) - Continual Learning with Neuromorphic Computing: Theories, Methods, and Applications [5.213243471774097]
自律的なシステムが新しい知識を獲得し、変化する環境に適応できるようにするために、継続的な学習が提案されている。
脳にインスパイアされたスパイキングニューラルネットワーク(SNN)を備えたニューロモルフィックコンピューティングは、低消費電力/エネルギー連続学習を可能にする固有の利点を提供する。
論文 参考訳（メタデータ） (2024-10-11T19:49:53Z) - Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Neuro-mimetic Task-free Unsupervised Online Learning with Continual
Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。
低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。
MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文 参考訳（メタデータ） (2024-02-19T19:11:22Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Towards continual task learning in artificial neural networks: current
approaches and insights from neuroscience [0.0]
人間や他の動物が、多様で、しばしば干渉し、知識の範囲を学習する能力は、自然知性の目印である。
人工知能がさまざまなタスクやドメインをまたいで学習できることは、人工知能の明確な目標である。
論文 参考訳（メタデータ） (2021-12-28T13:50:51Z) - Learning to acquire novel cognitive tasks with evolution, plasticity and
meta-meta-learning [3.8073142980733]
メタラーニングでは、ネットワークは外部アルゴリズムでトレーニングされ、タスクの新しいインスタンスごとに予測不可能な情報を取得し、保存し、活用する必要があるタスクを学習する。
ここでは、神経科学モデリングフレームワークに基づく単純なメタ学習タスクのセットで、プラスティック接続を備えたニューラルネットワークを進化させます。
進化したネットワークは、進化した神経組織と塑性構造を自発的に操作することで、トレーニング中に見ることのない、新しい単純な認知タスクを自動的に取得することができる。
論文 参考訳（メタデータ） (2021-12-16T03:18:01Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Learning offline: memory replay in biological and artificial
reinforcement learning [1.0136215038345011]
神経科学・AI分野におけるリプレイの機能的役割を概観する。
リプレイは生物学的ニューラルネットワークにおけるメモリ統合に重要である。
また、ディープニューラルネットワークにおける学習の安定化の鍵でもある。
論文 参考訳（メタデータ） (2021-09-21T08:57:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。