論文の概要: Do Neural Networks Lose Plasticity in a Gradually Changing World?
- arxiv url: http://arxiv.org/abs/2602.09234v1
- Date: Mon, 09 Feb 2026 22:01:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-11 20:17:43.262637
- Title: Do Neural Networks Lose Plasticity in a Gradually Changing World?
- Title(参考訳): ニューラルネットワークは徐々に変化する世界で可塑性を損なうか?
- Authors: Tianhui Liu, Lili Mou,
- Abstract要約: 可塑性の喪失は、ニューラルネットワークが新たなタスクを学習する能力を失うことを指す。
我々は、徐々に変化する環境を調査し、入力/出力とタスクサンプリングによってこれをシミュレートする。
塑性の喪失は, 突然のタスクが環境に変化し, 世界が徐々に変化すれば, ほぼ緩和できることを示す。
- 参考スコア(独自算出の注目度): 21.869234048975073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning has become a trending topic in machine learning. Recent studies have discovered an interesting phenomenon called loss of plasticity, referring to neural networks gradually losing the ability to learn new tasks. However, existing plasticity research largely relies on contrived settings with abrupt task transitions, which often do not reflect real-world environments. In this paper, we propose to investigate a gradually changing environment, and we simulate this by input/output interpolation and task sampling. We perform theoretical and empirical analysis, showing that the loss of plasticity is an artifact of abrupt tasks changes in the environment and can be largely mitigated if the world changes gradually.
- Abstract(参考訳): 継続的学習は機械学習のトレンドとなっている。
最近の研究で、可塑性の喪失という興味深い現象が発見されました。
しかし、既存の塑性研究は、しばしば現実世界の環境を反映しない急激なタスク遷移を伴う複雑な環境に大きく依存している。
本稿では,徐々に変化する環境を調査し,これを入出力補間とタスクサンプリングによってシミュレートする。
本研究では, 可塑性の喪失は環境の急激なタスク変化の人工物であり, 世界が徐々に変化すれば, ほぼ緩和できることを示す理論的, 実証的な分析を行う。
関連論文リスト
- New Evidence of the Two-Phase Learning Dynamics of Neural Networks [59.55028392232715]
時間ウィンドウ全体にわたってネットワーク状態を比較するインターバルワイズ・パースペクティブを導入する。
摂動に対するネットワークの応答はカオスから安定への移行を示す。
また、この遷移点の後に、モデルの関数軌道は狭い円錐形の部分集合に制限される。
論文 参考訳(メタデータ) (2025-05-20T04:03:52Z) - Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning [122.67854581396578]
Plasticineは、深層強化学習における塑性最適化をベンチマークするためのオープンソースのフレームワークである。
Plasticineは13以上の緩和メソッド、評価メトリクス10、学習シナリオの単一ファイル実装を提供する。
論文 参考訳(メタデータ) (2025-04-24T12:32:13Z) - Neural Network Plasticity and Loss Sharpness [0.0]
近年の研究では、新しいタスクにおける塑性損失は、非定常RLフレームワークにおける損失ランドスケープのシャープネスと高い関係があることが示されている。
我々は,スムーズなミニマを追求し,バニラ予測設定における一般化能力を評価されたシャープネス正則化手法について検討した。
論文 参考訳(メタデータ) (2024-09-25T19:20:09Z) - Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳(メタデータ) (2024-02-29T00:02:33Z) - Understanding plasticity in neural networks [41.79540750236036]
可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。
深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
論文 参考訳(メタデータ) (2023-03-02T18:47:51Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳(メタデータ) (2022-10-06T23:50:38Z) - Ecological Reinforcement Learning [76.9893572776141]
このような条件下での学習を容易にする環境特性について検討する。
環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
論文 参考訳(メタデータ) (2020-06-22T17:55:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。