論文の概要: Triple Memory Networks: a Brain-Inspired Method for Continual Learning
- arxiv url: http://arxiv.org/abs/2003.03143v1
- Date: Fri, 6 Mar 2020 11:35:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 00:44:54.694424
- Title: Triple Memory Networks: a Brain-Inspired Method for Continual Learning
- Title（参考訳）: 三重記憶ネットワーク : 脳にインスパイアされた連続学習法
- Authors: Liyuan Wang, Bo Lei, Qian Li, Hang Su, Jun Zhu, Yi Zhong
- Abstract要約: ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。
脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。
このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
- 参考スコア（独自算出の注目度）: 35.40452724755021
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual acquisition of novel experience without interfering previously
learned knowledge, i.e. continual learning, is critical for artificial neural
networks, but limited by catastrophic forgetting. A neural network adjusts its
parameters when learning a new task, but then fails to conduct the old tasks
well. By contrast, the brain has a powerful ability to continually learn new
experience without catastrophic interference. The underlying neural mechanisms
possibly attribute to the interplay of hippocampus-dependent memory system and
neocortex-dependent memory system, mediated by prefrontal cortex. Specifically,
the two memory systems develop specialized mechanisms to consolidate
information as more specific forms and more generalized forms, respectively,
and complement the two forms of information in the interplay. Inspired by such
brain strategy, we propose a novel approach named triple memory networks (TMNs)
for continual learning. TMNs model the interplay of hippocampus, prefrontal
cortex and sensory cortex (a neocortex region) as a triple-network architecture
of generative adversarial networks (GAN). The input information is encoded as
specific representation of the data distributions in a generator, or
generalized knowledge of solving tasks in a discriminator and a classifier,
with implementing appropriate brain-inspired algorithms to alleviate
catastrophic forgetting in each module. Particularly, the generator replays
generated data of the learned tasks to the discriminator and the classifier,
both of which are implemented with a weight consolidation regularizer to
complement the lost information in generation process. TMNs achieve new
state-of-the-art performance on a variety of class-incremental learning
benchmarks on MNIST, SVHN, CIFAR-10 and ImageNet-50, comparing with strong
baseline methods.
- Abstract（参考訳）: 事前学習された知識、すなわち連続学習を干渉せずに新しい経験を連続的に獲得することは、ニューラルネットワークにとって重要であるが、破滅的な忘れによって制限される。
ニューラルネットワークは、新しいタスクを学習する際にパラメータを調整しますが、古いタスクをうまく実行できません。
対照的に、脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。
基礎となる神経機構は、前頭前皮質を介する海馬依存記憶系と新皮質依存記憶系の相互作用に起因する可能性がある。
具体的には、2つのメモリシステムは、情報をそれぞれより特定の形式とより一般化された形式として統合し、インタープレイにおける2つの情報の形式を補完する特殊なメカニズムを開発する。
このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
tmnsは、海馬、前頭前皮質、感覚皮質(新皮質領域)の相互作用を、生成的敵ネットワーク(gan)のトリプルネットワークアーキテクチャとしてモデル化する。
入力情報は、ジェネレータ内のデータ分布の特定の表現、または判別器及び分類器におけるタスクの一般化知識として符号化され、各モジュールにおける破滅的な忘れを緩和する適切な脳インスパイアされたアルゴリズムが実装される。
特に、ジェネレータは、学習したタスクの生成されたデータを判別器と分類器に再生し、どちらも、生成過程で失われた情報を補完する重み統合正規化器で実装する。
TMNは、MNIST、SVHN、CIFAR-10、ImageNet-50の様々なクラスインクリメンタル学習ベンチマーク上で、強力なベースライン手法と比較して、新しい最先端のパフォーマンスを実現する。
関連論文リスト
- Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳（メタデータ） (2024-06-07T08:32:30Z) - Spiking representation learning for associative memories [0.0]
本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。
モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
論文 参考訳（メタデータ） (2024-06-05T08:30:11Z) - Understanding Auditory Evoked Brain Signal via Physics-informed Embedding Network with Multi-Task Transformer [3.261870217889503]
マルチタスク変換器(PEMT-Net)を用いた物理インフォームド・エンベディング・ネットワークという,革新的なマルチタスク学習モデルを提案する。
PEMT-Netは物理インフォームド埋め込みとディープラーニング技術によりデコード性能を向上させる。
特定のデータセットに対する実験は、PEMT-Netがマルチタスクの聴覚信号復号における顕著な性能を示した。
論文 参考訳（メタデータ） (2024-06-04T06:53:32Z) - Neuro-mimetic Task-free Unsupervised Online Learning with Continual
Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。
低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。
MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文 参考訳（メタデータ） (2024-02-19T19:11:22Z) - Predicting Infant Brain Connectivity with Federated Multi-Trajectory
GNNs using Scarce Data [54.55126643084341]
既存のディープラーニングソリューションには,3つの大きな制限がある。
我々はフェデレートグラフベースの多軌道進化ネットワークであるFedGmTE-Net++を紹介する。
フェデレーションの力を利用して、限られたデータセットを持つ多種多様な病院の地域学習を集約する。
論文 参考訳（メタデータ） (2024-01-01T10:20:01Z) - Sparse Multitask Learning for Efficient Neural Representation of Motor
Imagery and Execution [30.186917337606477]
運動画像(MI)と運動実行(ME)タスクのためのスパースマルチタスク学習フレームワークを提案する。
MI-ME分類のためのデュアルタスクCNNモデルが与えられた場合、過渡的な接続に対して、サリエンシに基づくスペーシフィケーションアプローチを適用する。
以上の結果から, この調整された疎水性は, 過度に適合する問題を緩和し, 少ないデータ量でテスト性能を向上させることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T09:06:16Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳（メタデータ） (2022-10-06T15:36:27Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Lifelong 3D Object Recognition and Grasp Synthesis Using Dual Memory
Recurrent Self-Organization Networks [0.0]
人間は、これまで得られた知識を忘れずに、生涯にわたって新しい物体を認識し、操作することを学ぶ。
ほとんどの従来のディープニューラルネットワークでは、破滅的な忘れの問題のため、これは不可能である。
本稿では,物体認識と把握を同時に行うために,デュアルメモリリカレントニューラルネットワークとオートエンコーダを組み合わせたハイブリッドモデルアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-09-23T11:14:13Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。