論文の概要: Overcoming catastrophic forgetting in neural networks

• arxiv url: http://arxiv.org/abs/2507.10485v1
• Date: Mon, 14 Jul 2025 17:04:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:25.564599
• Title: Overcoming catastrophic forgetting in neural networks
• Title（参考訳）: ニューラルネットワークにおける破滅的忘れを克服する
• Authors: Brandon Shuen Yi Loke, Filippo Quadri, Gabriel Vivanco, Maximilian Casagrande, Saúl Fenollosa,
• Abstract要約: 破滅的な忘れが継続的な学習を妨げる主要な課題である。 弾性ウェイト・コンソリデーション(Elastic Weight Consolidation)は、生体神経系におけるシナプス・コンソリデーションにインスパイアされた正規化に基づくアプローチである。 以上の結果から,EWC はナイーブトレーニングに比べて忘れを著しく減らすことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting is the primary challenge that hinders continual learning, which refers to a neural network ability to sequentially learn multiple tasks while retaining previously acquired knowledge. Elastic Weight Consolidation, a regularization-based approach inspired by synaptic consolidation in biological neural systems, has been used to overcome this problem. In this study prior research is replicated and extended by evaluating EWC in supervised learning settings using the PermutedMNIST and RotatedMNIST benchmarks. Through systematic comparisons with L2 regularization and stochastic gradient descent (SGD) without regularization, we analyze how different approaches balance knowledge retention and adaptability. Our results confirm what was shown in previous research, showing that EWC significantly reduces forgetting compared to naive training while slightly compromising learning efficiency on new tasks. Moreover, we investigate the impact of dropout regularization and varying hyperparameters, offering insights into the generalization of EWC across diverse learning scenarios. These results underscore EWC's potential as a viable solution for lifelong learning in neural networks.
• Abstract（参考訳）: 破滅的な忘れは、連続的な学習を妨げる主要な課題である。これは、以前獲得した知識を維持しながら、連続的に複数のタスクを学習するニューラルネットワーク能力を指す。 生体神経系におけるシナプス強化にインスパイアされた正規化ベースのアプローチであるElastic Weight Consolidationは、この問題を克服するために使用されている。 本研究では,PermutedMNISTとRotatedMNISTベンチマークを用いて,教師付き学習環境におけるEWCの評価により,先行研究を再現・拡張する。 正規化のないL2正規化と確率勾配降下(SGD)を体系的に比較することにより、異なるアプローチが知識保持と適応性のバランスをとるかを分析する。 以上の結果より,EWCは学習効率を若干向上させつつ,初歩的なトレーニングに比べて忘れを著しく低下させることが明らかとなった。 さらに,多種多様な学習シナリオにおけるEWCの一般化に関する洞察を提供するとともに,ドロップアウト正規化と様々なハイパーパラメータの影響について検討する。 これらの結果は、ニューラルネットワークにおける生涯学習の有効なソリューションとしてのEWCの可能性を強調している。

関連論文リスト

• Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
  スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。 SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。 この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。 本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
  論文  参考訳（メタデータ） (2024-11-11T15:20:54Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Learning Continually by Spectral Regularization [45.55508032009977]
  連続学習アルゴリズムは、ネットワークのトレーニング性を維持しながら、良好な性能を維持することにより、可塑性の損失を軽減する。 我々は,初期化時のニューラルネットワークパラメータの特異値が学習の初期段階におけるトレーニング容易性の重要な要因であることから着想を得た,継続学習を改善するための新しい手法を開発した。 提案するスペクトル正規化器は,連続的な教師付きおよび強化学習環境において,様々なモデルアーキテクチャの訓練性と性能を維持可能であることを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2024-06-10T21:34:43Z)
• SGD with Large Step Sizes Learns Sparse Features [22.959258640051342]
  本稿では、ニューラルネットワークのトレーニングにおいて、グラディエント・ディフレッシュ(SGD)のダイナミクスの重要な特徴を紹介する。 より長いステップサイズでは、損失ランドスケープにおいてSGDは高く保たれ、暗黙の正規化がうまく機能し、スパース表現を見つけることができる。
  論文  参考訳（メタデータ） (2022-10-11T11:00:04Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations [36.24028295650668]
  非定常的な入力データストリームからの連続的/長期的学習は知性の基盤である。 ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れる傾向がある。 近年、ディープニューラルネットワークにおける破滅的な忘れを乗り越えることが、研究の活発な分野となっている。
  論文  参考訳（メタデータ） (2022-03-12T21:12:41Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• SpikePropamine: Differentiable Plasticity in Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)におけるシナプス可塑性と神経調節シナプス可塑性のダイナミクスを学習するための枠組みを導入する。 異なる可塑性で強化されたSNNは、時間的学習課題の集合を解決するのに十分であることを示す。 これらのネットワークは、高次元のロボット学習タスクで移動を生成できることも示されている。
  論文  参考訳（メタデータ） (2021-06-04T19:29:07Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。