論文の概要: Plasticity of Growing and Elastic Neural Networks in Online Continual Learning

• arxiv url: http://arxiv.org/abs/2608.01475v1
• Date: Sun, 02 Aug 2026 20:12:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.253068
• Title: Plasticity of Growing and Elastic Neural Networks in Online Continual Learning
• Title（参考訳）: オンライン連続学習における成長と弾性ニューラルネットワークの塑性
• Abstract要約: オンライン連続学習における基礎的成長・弾性ネットワークの可塑性について検討した。 以上の結果から,オンライン連続学習における高可塑性保存のための,成長と弾性ネットワークが有望なアルゴリズムのクラスとなる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 8.243928955473026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks that can grow or both grow and shrink during learning, referred to as growing neural networks and elastic neural networks, respectively, have recently been explored in offline continual learning with a particular focus on catastrophic forgetting. Driven by the observations that 1) online continual learning closely resembles how animals learn; 2) loss of plasticity---the progressive decline in a learning network's ability to learn---is another crucial challenge facing continual learning; and 3) incremental introduction of randomly initialized hidden units was recently shown to help preserve plasticity, in this paper, we study the plasticity of several foundational growing and elastic networks in online continual learning. Our experiments in supervised learning settings show that adaptive growing networks, which incrementally incorporate new, randomly initialized units to the network while keeping all existing connections adaptive, can maintain high prediction accuracy without losing plasticity despite the continuous increase in the dead hidden unit proportion. Furthermore, we demonstrate that adaptive elastic networks, which in addition to progressively adding new hidden units also prune estimated dead hidden units at the beginning of each new task, can achieve excellent accuracy without loss of plasticity while simultaneously maintaining a near-constant, compact size. Our results suggest that growing and elastic networks, which exhibit the ability to adapt its structure to the relevant learning objectives, can be a promising class of algorithms also for preserving high plasticity in online continual learning.
• Abstract（参考訳）: 成長するニューラルネットワークと弾力性のあるニューラルネットワークと呼ばれる、学習中に成長または縮小できるニューラルネットワークは、最近オフライン連続学習において、破滅的な忘れ方に焦点を当てて研究されている。 観察によって駆動される 1)オンライン連続学習は,動物の学習方法によく似ている。 2) 可塑性の喪失--学習ネットワークの学習能力の低下--継続学習に直面するもう一つの重要な課題である。 3) ランダム初期化隠蔽ユニットの漸進的導入は塑性の維持に役立ち, オンライン連続学習における基礎的成長・弾性ネットワークの可塑性について検討した。 教師付き学習環境における実験により,新たなランダム初期化ユニットをネットワークにインクリメンタルに組み込んだ適応型成長ネットワークは,隠れたユニット比の連続的な増加にもかかわらず,可塑性を損なうことなく高い予測精度を維持することができることがわかった。 さらに,新たな隠蔽ユニットを段階的に追加した適応弾性ネットワークは,各タスクの開始時に推定された隠蔽ユニットをプーンするだけでなく,可塑性を損なうことなく,ほぼ一定でコンパクトなサイズを同時に維持できることを示す。 以上の結果から,その構造を学習目的に適応させる能力を示す成長・弾性ネットワークは,オンライン連続学習における高可塑性の維持にも有望なアルゴリズムのクラスである可能性が示唆された。

関連論文リスト

• Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
  静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。 解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
  論文  参考訳（メタデータ） (2025-06-20T17:54:24Z)
• Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning [59.35015431695172]
  本稿では,半パラメトリックメモリと覚醒・睡眠統合機構を統合したバイオミメティック連続学習フレームワークを提案する。 提案手法は,実世界の挑戦的連続学習シナリオにおいて,先行知識を維持しつつ,新しいタスクにおけるディープニューラルネットワークの高性能維持を可能にする。
  論文  参考訳（メタデータ） (2025-04-20T19:53:13Z)
• A ghost mechanism: An analytical model of abrupt learning [6.509233267425589]
  一次元のシステムでさえ、分岐よりもゴーストポイントを通して突然学習できることを示す。 本モデルは,突発学習のための分岐のない機構を明らかにし,学習力学の安定化における意図的不確実性と冗長性の両方の重要性を示す。
  論文  参考訳（メタデータ） (2025-01-04T20:49:20Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Understanding plasticity in neural networks [41.79540750236036]
  可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。 深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
  論文  参考訳（メタデータ） (2023-03-02T18:47:51Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
  ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。 ネットワークの学習力学を様々な観点から研究する。
  論文  参考訳（メタデータ） (2021-10-21T23:49:23Z)
• Adaptive Reinforcement Learning through Evolving Self-Modifying Neural Networks [0.0]
  強化学習(RL)の現在の手法は、特定の時間間隔で反射した後にのみ新しい相互作用に適応する。 最近の研究は、バックプロパゲーションを用いて訓練された単純なRLタスクの性能を向上させるために、ニューラルネットワークに神経修飾塑性を付与することでこの問題に対処している。 ここでは,四足歩行におけるメタラーニングの課題について検討する。 その結果、自己修飾プラスチックネットワークを用いて進化したエージェントは、複雑なメタ学習タスクに適応し、グラデーションを使って更新された同じネットワークよりも優れていることが示される。
  論文  参考訳（メタデータ） (2020-05-22T02:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。