論文の概要: Disentangling the Causes of Plasticity Loss in Neural Networks
- arxiv url: http://arxiv.org/abs/2402.18762v1
- Date: Thu, 29 Feb 2024 00:02:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 16:31:10.583433
- Title: Disentangling the Causes of Plasticity Loss in Neural Networks
- Title(参考訳): ニューラルネットワークにおける塑性損失の原因の特定
- Authors: Clare Lyle, Zeyu Zheng, Khimya Khetarpal, Hado van Hasselt, Razvan
Pascanu, James Martens, Will Dabney
- Abstract要約: 可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
- 参考スコア(独自算出の注目度): 55.23250269007988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Underpinning the past decades of work on the design, initialization, and
optimization of neural networks is a seemingly innocuous assumption: that the
network is trained on a \textit{stationary} data distribution. In settings
where this assumption is violated, e.g.\ deep reinforcement learning, learning
algorithms become unstable and brittle with respect to hyperparameters and even
random seeds. One factor driving this instability is the loss of plasticity,
meaning that updating the network's predictions in response to new information
becomes more difficult as training progresses. While many recent works provide
analyses and partial solutions to this phenomenon, a fundamental question
remains unanswered: to what extent do known mechanisms of plasticity loss
overlap, and how can mitigation strategies be combined to best maintain the
trainability of a network? This paper addresses these questions, showing that
loss of plasticity can be decomposed into multiple independent mechanisms and
that, while intervening on any single mechanism is insufficient to avoid the
loss of plasticity in all cases, intervening on multiple mechanisms in
conjunction results in highly robust learning algorithms. We show that a
combination of layer normalization and weight decay is highly effective at
maintaining plasticity in a variety of synthetic nonstationary learning tasks,
and further demonstrate its effectiveness on naturally arising
nonstationarities, including reinforcement learning in the Arcade Learning
Environment.
- Abstract(参考訳): ニューラルネットワークの設計、初期化、最適化に関する過去数十年の研究の基盤となるのは、一見無害な仮定である。
この仮定に違反する環境では、例えば、深い強化学習では、学習アルゴリズムはハイパーパラメータやランダムシードに対して不安定で不安定になる。
この不安定性を引き起こす要因の1つは可塑性の喪失であり、トレーニングが進むにつれて、新たな情報に応じてネットワークの予測を更新することが難しくなることを意味する。
近年の多くの研究が、この現象の分析と部分解を提供しているが、根本的な疑問は解決されていない: 塑性損失の既知のメカニズムがどの程度重複しているか、そして、ネットワークのトレーニング性を維持するために緩和戦略を組み合わせるにはどうすればよいか?
本稿では, 可塑性の損失を複数の独立機構に分解できることを示すとともに, 任意の単一機構に干渉しても可塑性の損失を避けるには不十分であるが, 複数の機構を併用することで高い頑健な学習アルゴリズムが得られることを示す。
その結果,多種多様な非定常学習課題において,層正規化と重量減少の組み合わせは可塑性維持に非常に有効であり,さらにアーケード学習環境における強化学習を含む自然発生非定常性に対する効果が示された。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - Directions of Curvature as an Explanation for Loss of Plasticity [42.41137083374963]
可塑性の喪失は、ニューラルネットワークが新しい経験から学ぶ能力を失う現象である。
ニューラルネットワークはトレーニング中に曲率の方向を失う。
可塑性の喪失を緩和する正規化剤も曲率を保っている。
論文 参考訳(メタデータ) (2023-11-30T23:24:45Z) - Understanding plasticity in neural networks [41.79540750236036]
可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。
深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
論文 参考訳(メタデータ) (2023-03-02T18:47:51Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳(メタデータ) (2022-10-06T23:50:38Z) - Sparsity and Heterogeneous Dropout for Continual Learning in the Null
Space of Neural Activations [36.24028295650668]
非定常的な入力データストリームからの連続的/長期的学習は知性の基盤である。
ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れる傾向がある。
近年、ディープニューラルネットワークにおける破滅的な忘れを乗り越えることが、研究の活発な分野となっている。
論文 参考訳(メタデータ) (2022-03-12T21:12:41Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。
我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。
本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-08-01T00:58:54Z) - Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。
本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
論文 参考訳(メタデータ) (2020-06-12T06:00:27Z) - Universal Adversarial Perturbations: A Survey [0.0]
深いニューラルネットワークは敵の摂動に影響を受けやすい。
これらの摂動は、入力画像に知覚的な変更を加えることなく、ネットワークの予測を変更させる可能性がある。
我々は、普遍的な摂動を生成するための様々なデータ駆動型およびデータ非依存の手法について、詳細な議論を行う。
論文 参考訳(メタデータ) (2020-05-16T20:18:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。