論文の概要: Enabling Continual Learning with Differentiable Hebbian Plasticity
- arxiv url: http://arxiv.org/abs/2006.16558v1
- Date: Tue, 30 Jun 2020 06:42:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 04:18:43.588585
- Title: Enabling Continual Learning with Differentiable Hebbian Plasticity
- Title(参考訳): ヘビアン可塑性による連続学習の実現
- Authors: Vithursan Thangarasa, Thomas Miconi, Graham W. Taylor
- Abstract要約: 連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。
破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。
微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
- 参考スコア(独自算出の注目度): 18.12749708143404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning is the problem of sequentially learning new tasks or
knowledge while protecting previously acquired knowledge. However, catastrophic
forgetting poses a grand challenge for neural networks performing such learning
process. Thus, neural networks that are deployed in the real world often
struggle in scenarios where the data distribution is non-stationary (concept
drift), imbalanced, or not always fully available, i.e., rare edge cases. We
propose a Differentiable Hebbian Consolidation model which is composed of a
Differentiable Hebbian Plasticity (DHP) Softmax layer that adds a rapid
learning plastic component (compressed episodic memory) to the fixed (slow
changing) parameters of the softmax output layer; enabling learned
representations to be retained for a longer timescale. We demonstrate the
flexibility of our method by integrating well-known task-specific synaptic
consolidation methods to penalize changes in the slow weights that are
important for each target task. We evaluate our approach on the Permuted MNIST,
Split MNIST and Vision Datasets Mixture benchmarks, and introduce an imbalanced
variant of Permuted MNIST -- a dataset that combines the challenges of class
imbalance and concept drift. Our proposed model requires no additional
hyperparameters and outperforms comparable baselines by reducing forgetting.
- Abstract(参考訳): 連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。
しかし、破滅的な忘れは、そのような学習プロセスを実行するニューラルネットワークにとって大きな課題となる。
したがって、現実世界に展開されるニューラルネットワークは、データ分散が非定常的(概念のドリフト)、不均衡、あるいは必ずしも完全に利用できないシナリオ、すなわち稀なエッジケースで苦労することが多い。
ソフトマックス出力層の固定パラメータに高速学習プラスチック成分(圧縮エピソードメモリ)を付加し,学習表現をより長い時間で保持できる,微分可能なヘビアン可塑性(DHP)ソフトマックス層からなる微分可能なヘビアン整合モデルを提案する。
本手法の柔軟性は,タスクごとに重要な遅い重みの変化をペナルティ化するために,よく知られたタスク固有のシナプス統合手法を統合することで実証する。
我々は、Permuted MNIST、Split MNIST、Vision Datasets Mixtureベンチマークに対する我々のアプローチを評価し、クラス不均衡と概念ドリフトの課題を組み合わせたデータセットであるPermuted MNISTの不均衡変種を導入する。
提案モデルでは,余分なハイパーパラメータを必要とせず,誤りを減らし,同等のベースラインを上回ります。
関連論文リスト
- Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Switching Autoregressive Low-rank Tensor Models [12.461139675114818]
自己回帰型低ランクテンソル(SALT)モデルを切り替える方法について述べる。
SALTはARHMMのテンソルを低ランクの分解でパラメータ化し、パラメータの数を制御する。
本稿では,SALT,線形力学系,SLDS間の実用的関係を理論的に検証し議論する。
論文 参考訳(メタデータ) (2023-06-05T22:25:28Z) - Layer-wise Shared Attention Network on Dynamical System Perspective [69.45492795788167]
本稿では,複数のネットワーク層にまたがって単一の注目モジュールを共有するDIAユニットという,新規かつ簡易なフレームワークを提案する。
当社のフレームワークでは,パラメータコストはレイヤ数とは無関係であり,既存の自己注意モジュールの精度をさらに向上する。
論文 参考訳(メタデータ) (2022-10-27T13:24:08Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳(メタデータ) (2021-12-09T07:11:14Z) - Investigating the Relationship Between Dropout Regularization and Model
Complexity in Neural Networks [0.0]
ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。
2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。
各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
論文 参考訳(メタデータ) (2021-08-14T23:49:33Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z) - Neuromodulated Neural Architectures with Local Error Signals for
Memory-Constrained Online Continual Learning [4.2903672492917755]
我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。
一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2020-07-16T07:41:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。