論文の概要: How Weight Resampling and Optimizers Shape the Dynamics of Continual Learning and Forgetting in Neural Networks

• arxiv url: http://arxiv.org/abs/2507.01559v1
• Date: Wed, 02 Jul 2025 10:18:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.147235
• Title: How Weight Resampling and Optimizers Shape the Dynamics of Continual Learning and Forgetting in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける継続学習と予測のダイナミクスをいかに形作るか
• Authors: Lapo Frati, Neil Traft, Jeff Clune, Nick Cheney,
• Abstract要約: 連続学習における最近の研究は、ニューラルネットワークの最後の層(ザッピング)における重みの再サンプリングの効果を強調している。 本研究では,畳み込みニューラルネットワーク内で発生する学習と忘れのパターンを,挑戦的な設定でトレーニングした場合に詳細に検討する。
• 参考スコア（独自算出の注目度）: 2.270857464465579
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent work in continual learning has highlighted the beneficial effect of resampling weights in the last layer of a neural network (``zapping"). Although empirical results demonstrate the effectiveness of this approach, the underlying mechanisms that drive these improvements remain unclear. In this work, we investigate in detail the pattern of learning and forgetting that take place inside a convolutional neural network when trained in challenging settings such as continual learning and few-shot transfer learning, with handwritten characters and natural images. Our experiments show that models that have undergone zapping during training more quickly recover from the shock of transferring to a new domain. Furthermore, to better observe the effect of continual learning in a multi-task setting we measure how each individual task is affected. This shows that, not only zapping, but the choice of optimizer can also deeply affect the dynamics of learning and forgetting, causing complex patterns of synergy/interference between tasks to emerge when the model learns sequentially at transfer time.
• Abstract（参考訳）: 連続学習における最近の研究は、ニューラルネットワークの最後の層( ``zapping")で重みを再サンプリングする効果を強調している。 実験的な結果はこのアプローチの有効性を示しているが、これらの改善を促進する基盤となるメカニズムはいまだ不明である。 本研究では,手書き文字や自然画像を用いて,連続学習や数発の移動学習といった困難な環境において,畳み込みニューラルネットワーク内で発生する学習パターンと忘れを詳細に検討する。 実験の結果, トレーニング中にザッピングを行ったモデルは, 新たなドメインへの移行ショックから, より迅速に回復できることがわかった。 さらに,マルチタスク環境における継続学習の効果をよりよく観察するために,各タスクがどのように影響を受けるかを計測する。 これは、ザッピングだけでなく、オプティマイザの選択が学習と忘れのダイナミクスに深く影響し、モデルが転送時に逐次学習するときにタスク間のシナジー/干渉の複雑なパターンが出現することを示している。

関連論文リスト

• The Importance of Being Lazy: Scaling Limits of Continual Learning [60.97756735877614]
  モデル幅の増大は,特徴学習の量を減らし,遅延度を高めた場合にのみ有益であることを示す。 特徴学習,タスク非定常性,および忘れることの複雑な関係について検討し,高い特徴学習が極めて類似したタスクにのみ有用であることを示す。
  論文  参考訳（メタデータ） (2025-06-20T10:12:38Z)
• Look-Ahead Selective Plasticity for Continual Learning of Visual Tasks [9.82510084910641]
  タスク境界において,タスクが終了し,他のタスク開始時に発生する新しいメカニズムを提案する。 CIFAR10やTinyImagenetなどのコンピュータビジョンデータセットのベンチマークで提案手法を評価する。
  論文  参考訳（メタデータ） (2023-11-02T22:00:23Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Learning to Modulate Random Weights: Neuromodulation-inspired Neural Networks For Efficient Continual Learning [1.9580473532948401]
  生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。 学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
  論文  参考訳（メタデータ） (2022-04-08T21:12:13Z)
• Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations [36.24028295650668]
  非定常的な入力データストリームからの連続的/長期的学習は知性の基盤である。 ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れる傾向がある。 近年、ディープニューラルネットワークにおける破滅的な忘れを乗り越えることが、研究の活発な分野となっている。
  論文  参考訳（メタデータ） (2022-03-12T21:12:41Z)
• Continual Learning Beyond a Single Model [28.130513524601145]
  そこで本研究では,アンサンブルモデルを用いることで,連続的な性能向上を図った。 本稿では,単一モデルに類似した実行時間を持つ計算コストの低いアルゴリズムを提案し,アンサンブルの性能上の利点を享受する。
  論文  参考訳（メタデータ） (2022-02-20T14:30:39Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Adaptive Reinforcement Learning through Evolving Self-Modifying Neural Networks [0.0]
  強化学習(RL)の現在の手法は、特定の時間間隔で反射した後にのみ新しい相互作用に適応する。 最近の研究は、バックプロパゲーションを用いて訓練された単純なRLタスクの性能を向上させるために、ニューラルネットワークに神経修飾塑性を付与することでこの問題に対処している。 ここでは,四足歩行におけるメタラーニングの課題について検討する。 その結果、自己修飾プラスチックネットワークを用いて進化したエージェントは、複雑なメタ学習タスクに適応し、グラデーションを使って更新された同じネットワークよりも優れていることが示される。
  論文  参考訳（メタデータ） (2020-05-22T02:24:44Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。