論文の概要: Sparsity and Heterogeneous Dropout for Continual Learning in the Null
Space of Neural Activations
- arxiv url: http://arxiv.org/abs/2203.06514v1
- Date: Sat, 12 Mar 2022 21:12:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-03-19 17:40:02.867401
- Title: Sparsity and Heterogeneous Dropout for Continual Learning in the Null
Space of Neural Activations
- Title（参考訳）: 神経活性化のヌル空間における連続学習のためのスパーシティとヘテロジニアスドロップアウト
- Authors: Ali Abbasi, Parsa Nooralinejad, Vladimir Braverman, Hamed Pirsiavash,
Soheil Kolouri
- Abstract要約: 非定常的な入力データストリームからの連続的/長期的学習は知性の基盤である。
ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れる傾向がある。
近年、ディープニューラルネットワークにおける破滅的な忘れを乗り越えることが、研究の活発な分野となっている。
- 参考スコア（独自算出の注目度）: 36.24028295650668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual/lifelong learning from a non-stationary input data stream is a
cornerstone of intelligence. Despite their phenomenal performance in a wide
variety of applications, deep neural networks are prone to forgetting their
previously learned information upon learning new ones. This phenomenon is
called "catastrophic forgetting" and is deeply rooted in the
stability-plasticity dilemma. Overcoming catastrophic forgetting in deep neural
networks has become an active field of research in recent years. In particular,
gradient projection-based methods have recently shown exceptional performance
at overcoming catastrophic forgetting. This paper proposes two
biologically-inspired mechanisms based on sparsity and heterogeneous dropout
that significantly increase a continual learner's performance over a long
sequence of tasks. Our proposed approach builds on the Gradient Projection
Memory (GPM) framework. We leverage K-winner activations in each layer of a
neural network to enforce layer-wise sparse activations for each task, together
with a between-task heterogeneous dropout that encourages the network to use
non-overlapping activation patterns between different tasks. In addition, we
introduce Continual Swiss Roll as a lightweight and interpretable -- yet
challenging -- synthetic benchmark for continual learning. Lastly, we provide
an in-depth analysis of our proposed method and demonstrate a significant
performance boost on various benchmark continual learning problems.
- Abstract（参考訳）: 非定常入力データストリームからの連続的/長期的学習は知性の基盤である。
さまざまなアプリケーションにおいて、その驚くべき性能にもかかわらず、ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れがちである。
この現象は「破滅的忘れ」と呼ばれ、安定性と塑性のジレンマに深く根ざしている。
近年、ディープニューラルネットワークにおける破滅的な忘れを克服する研究が活発に行われている。
特に、勾配投影に基づく手法は、最近、破滅的な忘れを克服する優れた性能を示している。
本稿では, 長期にわたる学習者のパフォーマンスを著しく向上させる, 空間性と不均一なドロップアウトに基づく2つの生物学的刺激機構を提案する。
提案手法はGPM(Gradient Projection Memory)フレームワークに基づいている。
ニューラルネットワークの各層におけるK-winnerのアクティベーションを活用して、各タスクに対して階層的にスパースなアクティベーションを強制し、異なるタスク間で重複しないアクティベーションパターンを使用するようにネットワークに促す、タスク間の異種ドロップアウトと組み合わせる。
さらに、継続学習のための軽量かつ解釈可能な、しかし難しい合成ベンチマークとしてContinual Swiss Rollを紹介します。
最後に,提案手法の詳細な分析を行い,ベンチマーク連続学習問題に対して有意な性能向上を示す。
関連論文リスト
- Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳（メタデータ） (2024-02-29T00:02:33Z) - Elephant Neural Networks: Born to Be a Continual Learner [7.210328077827388]
破滅的な忘れ物は、何十年にもわたって継続的な学習にとって重要な課題である。
ニューラルネットワークのトレーニング力学におけるアクティベーション機能の役割と,その破滅的忘れに対する影響について検討した。
古典的な活性化関数を象の活性化関数に置き換えることで、破滅的な忘れ物に対するニューラルネットワークのレジリエンスを大幅に改善できることを示す。
論文 参考訳（メタデータ） (2023-10-02T17:27:39Z) - Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。
本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文 参考訳（メタデータ） (2022-06-05T08:49:16Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。
FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
論文 参考訳（メタデータ） (2021-11-22T17:23:34Z) - Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。
ネットワークの学習力学を様々な観点から研究する。
論文 参考訳（メタデータ） (2021-10-21T23:49:23Z) - Gradient Projection Memory for Continual Learning [5.43185002439223]
過去のタスクを忘れずに継続的に学習する能力は、人工学習システムにとって望ましい属性です。
ニューラルネットワークは,従来のタスクにとって重要と考えられる勾配部分空間に直交方向の勾配を向けることで,新しいタスクを学習する手法を提案する。
論文 参考訳（メタデータ） (2021-03-17T16:31:29Z) - Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。
本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
論文 参考訳（メタデータ） (2020-06-12T06:00:27Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve
Adversarial Robustness [79.47619798416194]
Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。
予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
論文 参考訳（メタデータ） (2020-03-02T18:27:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。