論文の概要: Understanding plasticity in neural networks
- arxiv url: http://arxiv.org/abs/2303.01486v2
- Date: Thu, 11 May 2023 19:05:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 15:42:20.603775
- Title: Understanding plasticity in neural networks
- Title(参考訳): ニューラルネットワークにおける可塑性の理解
- Authors: Clare Lyle, Zeyu Zheng, Evgenii Nikishin, Bernardo Avila Pires, Razvan
Pascanu, Will Dabney
- Abstract要約: 可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。
深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
- 参考スコア(独自算出の注目度): 35.08583334083054
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Plasticity, the ability of a neural network to quickly change its predictions
in response to new information, is essential for the adaptability and
robustness of deep reinforcement learning systems. Deep neural networks are
known to lose plasticity over the course of training even in relatively simple
learning problems, but the mechanisms driving this phenomenon are still poorly
understood. This paper conducts a systematic empirical analysis into plasticity
loss, with the goal of understanding the phenomenon mechanistically in order to
guide the future development of targeted solutions. We find that loss of
plasticity is deeply connected to changes in the curvature of the loss
landscape, but that it typically occurs in the absence of saturated units or
divergent gradient norms. Based on this insight, we identify a number of
parameterization and optimization design choices which enable networks to
better preserve plasticity over the course of training. We validate the utility
of these findings in larger-scale learning problems by applying the
best-performing intervention, layer normalization, to a deep RL agent trained
on the Arcade Learning Environment.
- Abstract(参考訳): 深層強化学習システムの適応性と頑健性には,ニューラルネットワークが新たな情報に応答して予測を迅速に変化させる能力である可塑性が不可欠である。
深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られているが、この現象を駆動するメカニズムはまだよく分かっていない。
本稿では, 可塑性損失の系統的解析を行い, この現象を機械的に理解し, 対象とするソリューションの今後の発展を導くことを目的とする。
可塑性の損失は、損失ランドスケープの曲率の変化と深く結びついているが、通常は飽和単位や分岐勾配の基準が存在しない場合に発生する。
この知見に基づいて、ネットワークがトレーニングの過程で可塑性をよりよく維持できるようなパラメータ化と最適化設計の選択肢を多数特定する。
アーケード学習環境を訓練した深層RLエージェントに対して,最も優れた介入,層正規化を適用して,大規模学習問題におけるこれらの知見の有用性を検証する。
関連論文リスト
- Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳(メタデータ) (2024-02-29T00:02:33Z) - Directions of Curvature as an Explanation for Loss of Plasticity [42.41137083374963]
可塑性の喪失は、ニューラルネットワークが新しい経験から学ぶ能力を失う現象である。
ニューラルネットワークはトレーニング中に曲率の方向を失う。
可塑性の喪失を緩和する正規化剤も曲率を保っている。
論文 参考訳(メタデータ) (2023-11-30T23:24:45Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳(メタデータ) (2022-10-06T23:50:38Z) - Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。
FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。
私たちのコードは公開されます。
論文 参考訳(メタデータ) (2022-02-23T18:23:07Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Explainable artificial intelligence for mechanics: physics-informing
neural networks for constitutive models [0.0]
メカニクスにおいて、物理インフォームドニューラルネットワークの新しい活発な分野は、機械的知識に基づいてディープニューラルネットワークを設計することによって、この欠点を緩和しようとする。
本論文では,機械データに訓練されたニューラルネットワークを後述する物理形成型アプローチへの第一歩を提案する。
これにより、主成分分析はRNNの細胞状態における分散表現をデコレーションし、既知の基本関数との比較を可能にする。
論文 参考訳(メタデータ) (2021-04-20T18:38:52Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2021-02-22T17:33:51Z) - Adaptive Reinforcement Learning through Evolving Self-Modifying Neural
Networks [0.0]
強化学習(RL)の現在の手法は、特定の時間間隔で反射した後にのみ新しい相互作用に適応する。
最近の研究は、バックプロパゲーションを用いて訓練された単純なRLタスクの性能を向上させるために、ニューラルネットワークに神経修飾塑性を付与することでこの問題に対処している。
ここでは,四足歩行におけるメタラーニングの課題について検討する。
その結果、自己修飾プラスチックネットワークを用いて進化したエージェントは、複雑なメタ学習タスクに適応し、グラデーションを使って更新された同じネットワークよりも優れていることが示される。
論文 参考訳(メタデータ) (2020-05-22T02:24:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。