論文の概要: Enabling Continual Learning with Differentiable Hebbian Plasticity

• arxiv url: http://arxiv.org/abs/2006.16558v1
• Date: Tue, 30 Jun 2020 06:42:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:18:43.588585
• Title: Enabling Continual Learning with Differentiable Hebbian Plasticity
• Title（参考訳）: ヘビアン可塑性による連続学習の実現
• Authors: Vithursan Thangarasa, Thomas Miconi, Graham W. Taylor
• Abstract要約: 連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。 破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。 微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
• 参考スコア（独自算出の注目度）: 18.12749708143404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning is the problem of sequentially learning new tasks or knowledge while protecting previously acquired knowledge. However, catastrophic forgetting poses a grand challenge for neural networks performing such learning process. Thus, neural networks that are deployed in the real world often struggle in scenarios where the data distribution is non-stationary (concept drift), imbalanced, or not always fully available, i.e., rare edge cases. We propose a Differentiable Hebbian Consolidation model which is composed of a Differentiable Hebbian Plasticity (DHP) Softmax layer that adds a rapid learning plastic component (compressed episodic memory) to the fixed (slow changing) parameters of the softmax output layer; enabling learned representations to be retained for a longer timescale. We demonstrate the flexibility of our method by integrating well-known task-specific synaptic consolidation methods to penalize changes in the slow weights that are important for each target task. We evaluate our approach on the Permuted MNIST, Split MNIST and Vision Datasets Mixture benchmarks, and introduce an imbalanced variant of Permuted MNIST -- a dataset that combines the challenges of class imbalance and concept drift. Our proposed model requires no additional hyperparameters and outperforms comparable baselines by reducing forgetting.
• Abstract（参考訳）: 連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。 しかし、破滅的な忘れは、そのような学習プロセスを実行するニューラルネットワークにとって大きな課題となる。 したがって、現実世界に展開されるニューラルネットワークは、データ分散が非定常的(概念のドリフト)、不均衡、あるいは必ずしも完全に利用できないシナリオ、すなわち稀なエッジケースで苦労することが多い。 ソフトマックス出力層の固定パラメータに高速学習プラスチック成分(圧縮エピソードメモリ)を付加し,学習表現をより長い時間で保持できる,微分可能なヘビアン可塑性(DHP)ソフトマックス層からなる微分可能なヘビアン整合モデルを提案する。 本手法の柔軟性は,タスクごとに重要な遅い重みの変化をペナルティ化するために,よく知られたタスク固有のシナプス統合手法を統合することで実証する。 我々は、Permuted MNIST、Split MNIST、Vision Datasets Mixtureベンチマークに対する我々のアプローチを評価し、クラス不均衡と概念ドリフトの課題を組み合わせたデータセットであるPermuted MNISTの不均衡変種を導入する。 提案モデルでは,余分なハイパーパラメータを必要とせず,誤りを減らし,同等のベースラインを上回ります。

関連論文リスト

• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Neuromimetic metaplasticity for adaptive continual learning [2.1749194587826026]
  本研究では,人間の作業記憶にインスパイアされたメタ塑性モデルを提案する。 このアプローチの重要な側面は、安定から柔軟性までの異なるタイプのシナプスを実装し、それらをランダムに混在させて、柔軟性の異なるシナプス接続をトレーニングすることである。 このモデルは、追加の訓練や構造変更を必要とせず、メモリ容量と性能のバランスのとれたトレードオフを実現した。
  論文  参考訳（メタデータ） (2024-07-09T12:21:35Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Switching Autoregressive Low-rank Tensor Models [12.461139675114818]
  自己回帰型低ランクテンソル(SALT)モデルを切り替える方法について述べる。 SALTはARHMMのテンソルを低ランクの分解でパラメータ化し、パラメータの数を制御する。 本稿では,SALT,線形力学系,SLDS間の実用的関係を理論的に検証し議論する。
  論文  参考訳（メタデータ） (2023-06-05T22:25:28Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。