論文の概要: Disentangling the Causes of Plasticity Loss in Neural Networks
- arxiv url: http://arxiv.org/abs/2402.18762v1
- Date: Thu, 29 Feb 2024 00:02:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 16:31:10.583433
- Title: Disentangling the Causes of Plasticity Loss in Neural Networks
- Title（参考訳）: ニューラルネットワークにおける塑性損失の原因の特定
- Authors: Clare Lyle, Zeyu Zheng, Khimya Khetarpal, Hado van Hasselt, Razvan
Pascanu, James Martens, Will Dabney
- Abstract要約: 可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
- 参考スコア（独自算出の注目度）: 55.23250269007988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Underpinning the past decades of work on the design, initialization, and
optimization of neural networks is a seemingly innocuous assumption: that the
network is trained on a \textit{stationary} data distribution. In settings
where this assumption is violated, e.g.\ deep reinforcement learning, learning
algorithms become unstable and brittle with respect to hyperparameters and even
random seeds. One factor driving this instability is the loss of plasticity,
meaning that updating the network's predictions in response to new information
becomes more difficult as training progresses. While many recent works provide
analyses and partial solutions to this phenomenon, a fundamental question
remains unanswered: to what extent do known mechanisms of plasticity loss
overlap, and how can mitigation strategies be combined to best maintain the
trainability of a network? This paper addresses these questions, showing that
loss of plasticity can be decomposed into multiple independent mechanisms and
that, while intervening on any single mechanism is insufficient to avoid the
loss of plasticity in all cases, intervening on multiple mechanisms in
conjunction results in highly robust learning algorithms. We show that a
combination of layer normalization and weight decay is highly effective at
maintaining plasticity in a variety of synthetic nonstationary learning tasks,
and further demonstrate its effectiveness on naturally arising
nonstationarities, including reinforcement learning in the Arcade Learning
Environment.
- Abstract（参考訳）: ニューラルネットワークの設計、初期化、最適化に関する過去数十年の研究の基盤となるのは、一見無害な仮定である。
この仮定に違反する環境では、例えば、深い強化学習では、学習アルゴリズムはハイパーパラメータやランダムシードに対して不安定で不安定になる。
この不安定性を引き起こす要因の1つは可塑性の喪失であり、トレーニングが進むにつれて、新たな情報に応じてネットワークの予測を更新することが難しくなることを意味する。
近年の多くの研究が、この現象の分析と部分解を提供しているが、根本的な疑問は解決されていない: 塑性損失の既知のメカニズムがどの程度重複しているか、そして、ネットワークのトレーニング性を維持するために緩和戦略を組み合わせるにはどうすればよいか?
本稿では, 可塑性の損失を複数の独立機構に分解できることを示すとともに, 任意の単一機構に干渉しても可塑性の損失を避けるには不十分であるが, 複数の機構を併用することで高い頑健な学習アルゴリズムが得られることを示す。
その結果,多種多様な非定常学習課題において,層正規化と重量減少の組み合わせは可塑性維持に非常に有効であり,さらにアーケード学習環境における強化学習を含む自然発生非定常性に対する効果が示された。
関連論文リスト
- Plasticity Loss in Deep Reinforcement Learning: A Survey [15.525552360867367]
塑性は深層強化学習(RL)エージェントにとって不可欠である。
可塑性が失われると、データ分布の変化を考慮に入れないため、エージェントのパフォーマンスが低下する。
可塑性の喪失は、トレーニング不安定性、スケール失敗、過大評価バイアス、探検不足など、深いRLを悩ませる多くの問題と結びつくことができる。
論文 参考訳（メタデータ） (2024-11-07T16:13:54Z) - Neural Network Plasticity and Loss Sharpness [0.0]
近年の研究では、新しいタスクにおける塑性損失は、非定常RLフレームワークにおける損失ランドスケープのシャープネスと高い関係があることが示されている。
我々は,スムーズなミニマを追求し,バニラ予測設定における一般化能力を評価されたシャープネス正則化手法について検討した。
論文 参考訳（メタデータ） (2024-09-25T19:20:09Z) - TDNetGen: Empowering Complex Network Resilience Prediction with Generative Augmentation of Topology and Dynamics [14.25304439234864]
本稿では,ネットワークトポロジとダイナミックスの生成的データ拡張を通じてこの問題に対処するために設計された,複雑なネットワークに対する新しいレジリエンス予測フレームワークを提案する。
3つのネットワークデータセットの実験結果から,提案するフレームワークであるTDNetGenは,最大85%～95%の精度で高い予測精度を達成可能であることが示された。
論文 参考訳（メタデータ） (2024-08-19T09:20:31Z) - A Study of Plasticity Loss in On-Policy Deep Reinforcement Learning [7.767611890997147]
本研究は, 都市深部RLのドメインシフトにより, 可塑性損失が広まることを示す。
再生方法のクラスは, 様々な文脈において, 可塑性損失を連続的に軽減できることがわかった。
論文 参考訳（メタデータ） (2024-05-29T14:59:49Z) - Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Understanding plasticity in neural networks [41.79540750236036]
可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。
深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
論文 参考訳（メタデータ） (2023-03-02T18:47:51Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳（メタデータ） (2022-10-06T23:50:38Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。
我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。
本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-01T00:58:54Z) - Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。
本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
論文 参考訳（メタデータ） (2020-06-12T06:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。