論文の概要: Gradient Episodic Memory with a Soft Constraint for Continual Learning

• arxiv url: http://arxiv.org/abs/2011.07801v1
• Date: Mon, 16 Nov 2020 09:06:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 23:41:13.674871
• Title: Gradient Episodic Memory with a Soft Constraint for Continual Learning
• Title（参考訳）: 連続学習のためのソフト制約付きグラディエントエピソード記憶
• Authors: Guannan Hu, Wu Zhang, Hu Ding, Wenhao Zhu
• Abstract要約: 破滅的な忘れは、モデルが新しいタスクを学習しているときに、過去のタスクのパフォーマンスが大幅に低下する致命的な欠点である。 本稿では,[0, 1]$のソフト制約を持つ平均勾配エピソディクスメモリ(A-GEM)を提案する。 $epsilon$-SOFT-GEMは、A-GEMといくつかの連続学習ベンチマークを1つのトレーニングエポックで上回っている。
• 参考スコア（独自算出の注目度）: 9.52644009921388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic forgetting in continual learning is a common destructive phenomenon in gradient-based neural networks that learn sequential tasks, and it is much different from forgetting in humans, who can learn and accumulate knowledge throughout their whole lives. Catastrophic forgetting is the fatal shortcoming of a large decrease in performance on previous tasks when the model is learning a novel task. To alleviate this problem, the model should have the capacity to learn new knowledge and preserve learned knowledge. We propose an average gradient episodic memory (A-GEM) with a soft constraint $\epsilon \in [0, 1]$, which is a balance factor between learning new knowledge and preserving learned knowledge; our method is called gradient episodic memory with a soft constraint $\epsilon$ ($\epsilon$-SOFT-GEM). $\epsilon$-SOFT-GEM outperforms A-GEM and several continual learning benchmarks in a single training epoch; additionally, it has state-of-the-art average accuracy and efficiency for computation and memory, like A-GEM, and provides a better trade-off between the stability of preserving learned knowledge and the plasticity of learning new knowledge.
• Abstract（参考訳）: 連続学習における破滅的な忘れは、連続的なタスクを学習する勾配ベースのニューラルネットワークにおいて一般的な破壊的な現象であり、人生を通して知識を学習し蓄積できる人間を忘れることとは大きく異なる。 破滅的な忘れは、モデルが新しいタスクを学習しているときに、以前のタスクでパフォーマンスが大幅に低下する致命的な欠点である。 この問題を軽減するために、モデルは新しい知識を学び、学習した知識を保存する能力を持つべきである。 本稿では,新しい知識の学習と学習知識の保存のバランス因子であるソフト制約$\epsilon \in [0, 1]$を持つ平均勾配エピソディックメモリ (a-gem) を提案し,この手法をソフト制約$\epsilon$ (\epsilon$-soft-gem) の勾配エピソディックメモリと呼ぶ。 さらに、A-GEMのような計算とメモリの最先端の平均精度と効率も備えており、学習知識の保存の安定性と新しい知識の学習の可塑性との間には、よりよいトレードオフを提供する。

関連論文リスト

• Fine-Grained Gradient Restriction: A Simple Approach for Mitigating Catastrophic Forgetting [41.891312602770746]
  Gradient Episodic Memory (GEM) は、過去のトレーニングサンプルのサブセットを利用して、モデルのパラメータの更新方向を制限することでバランスをとる。 メモリの強度は、主にGEMの能力を一般化し、それによってより有利なトレードオフをもたらすため、有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-01T17:03:56Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Continual learning of quantum state classification with gradient episodic memory [0.20646127669654826]
  破滅的忘れという現象は、機械学習モデルが複数のタスクにわたって訓練されたときに発生する。 破滅的な忘れの問題に対処するために、いくつかの継続的な学習戦略が提案されている。 本研究では,変分量子分類器の学習に勾配エピソードメモリ法を取り入れた。
  論文  参考訳（メタデータ） (2022-03-26T09:28:26Z)
• Learning Fast, Learning Slow: A General Continual Learning Method based on Complementary Learning System [13.041607703862724]
  本稿では,新しいデュアルメモリエクスペリエンス再生(ER)法であるCLS-ERを提案する。 決定境界を意味記憶と整合させながら、新たな知識を得る。 提案手法は,標準ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-01-29T15:15:23Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Schematic Memory Persistence and Transience for Efficient and Robust Continual Learning [8.030924531643532]
  継続学習は、次世代人工知能(AI)に向けた有望なステップであると考えられている まだ非常に原始的であり、既存の作品は主に(破滅的な)忘れの回避に焦点が当てられている。 神経科学の最近の進歩を踏まえた,外部記憶を用いた連続学習のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-05-05T14:32:47Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。