論文の概要: Deep Reinforcement Learning with Plasticity Injection
- arxiv url: http://arxiv.org/abs/2305.15555v1
- Date: Wed, 24 May 2023 20:41:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-05-26 18:40:48.710697
- Title: Deep Reinforcement Learning with Plasticity Injection
- Title（参考訳）: 塑性注入による深層強化学習
- Authors: Evgenii Nikishin, Junhyuk Oh, Georg Ostrovski, Clare Lyle, Razvan
Pascanu, Will Dabney, Andr\'e Barreto
- Abstract要約: 深層強化学習(RL)ネットワークでは、可塑性が徐々に低下することを示す証拠がある。
可塑性注入はパラメータの数を変更せずにネットワーク可塑性を増加させる。
可塑性注入は 代替方法に比べて より強い性能を得る
- 参考スコア（独自算出の注目度）: 37.04729083823982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A growing body of evidence suggests that neural networks employed in deep
reinforcement learning (RL) gradually lose their plasticity, the ability to
learn from new data; however, the analysis and mitigation of this phenomenon is
hampered by the complex relationship between plasticity, exploration, and
performance in RL. This paper introduces plasticity injection, a minimalistic
intervention that increases the network plasticity without changing the number
of trainable parameters or biasing the predictions. The applications of this
intervention are two-fold: first, as a diagnostic tool $\unicode{x2014}$ if
injection increases the performance, we may conclude that an agent's network
was losing its plasticity. This tool allows us to identify a subset of Atari
environments where the lack of plasticity causes performance plateaus,
motivating future studies on understanding and combating plasticity loss.
Second, plasticity injection can be used to improve the computational
efficiency of RL training if the agent has to re-learn from scratch due to
exhausted plasticity or by growing the agent's network dynamically without
compromising performance. The results on Atari show that plasticity injection
attains stronger performance compared to alternative methods while being
computationally efficient.
- Abstract（参考訳）: 深部強化学習(RL)に使用されるニューラルネットワークは、徐々に可塑性を失い、新しいデータから学習する能力が低下することを示す証拠が増えているが、この現象の分析と緩和は、RLの可塑性、探索、性能の複雑な関係によって妨げられている。
本稿では,学習可能なパラメータの数や予測のバイアスを伴わずに,ネットワーク可塑性を高める最小限の介入である塑性注入を導入する。
第一に、診断ツールである$\unicode{x2014}$ インジェクションが性能を向上させると、エージェントのネットワークはその可塑性を失いつつあると結論付けることができる。
このツールにより,可塑性の欠如が性能高原の原因となるアタリ環境のサブセットを特定し,可塑性損失の理解と対策に関する今後の研究を動機付けることができる。
第2に、可塑性注入は、消耗した可塑性によるスクラッチからの学習や、性能を損なうことなくエージェントのネットワークを動的に成長させることで、RLトレーニングの計算効率を向上させるために用いられる。
その結果, 可塑性注入は, 計算効率が高く, 代替手法に比べて高い性能が得られることがわかった。
関連論文リスト
- Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning [122.67854581396578]
Plasticineは、深層強化学習における塑性最適化をベンチマークするためのオープンソースのフレームワークである。
Plasticineは13以上の緩和メソッド、評価メトリクス10、学習シナリオの単一ファイル実装を提供する。
論文 参考訳（メタデータ） (2025-04-24T12:32:13Z) - Activation by Interval-wise Dropout: A Simple Way to Prevent Neural Networks from Plasticity Loss [3.841822016067955]
塑性損失は、新しいタスクやデータ分散のシフトに適応するモデルの能力を制限する。
本稿では,AID (Activation by Interval-wise Dropout) について紹介する。
AIDはネットワークを正規化し,可塑性損失を伴わない深い線形ネットワークに類似した振舞いを促進する。
論文 参考訳（メタデータ） (2025-02-03T13:34:53Z) - Plasticity Loss in Deep Reinforcement Learning: A Survey [15.525552360867367]
塑性は深層強化学習(RL)エージェントにとって不可欠である。
可塑性が失われると、データ分布の変化を考慮に入れないため、エージェントのパフォーマンスが低下する。
可塑性の喪失は、トレーニング不安定性、スケール失敗、過大評価バイアス、探検不足など、深いRLを悩ませる多くの問題と結びつくことができる。
論文 参考訳（メタデータ） (2024-11-07T16:13:54Z) - Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳（メタデータ） (2024-02-29T00:02:33Z) - Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages [56.98243487769916]
ニューラルネットワークが新しいデータで進化する能力である塑性は、高性能でサンプル効率のよい視覚強化学習に不可欠である。
本稿では,批評家の可塑性レベルに基づいてリプレイ率を動的に調整するAdaptive RRを提案する。
論文 参考訳（メタデータ） (2023-10-11T12:05:34Z) - PLASTIC: Improving Input and Label Plasticity for Sample Efficient
Reinforcement Learning [54.409634256153154]
強化学習(RL)では, サンプル効率の向上が重要である。
原則として、非政治的なRLアルゴリズムは、環境相互作用毎に複数の更新を可能にすることで、サンプル効率を向上させることができる。
本研究は, この現象の原因を, 塑性を2つの側面に分けて検討した。
論文 参考訳（メタデータ） (2023-06-19T06:14:51Z) - Understanding plasticity in neural networks [41.79540750236036]
可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。
深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
論文 参考訳（メタデータ） (2023-03-02T18:47:51Z) - An Adversarial Active Sampling-based Data Augmentation Framework for
Manufacturable Chip Design [55.62660894625669]
リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。
機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。
本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-27T20:53:39Z) - Unveiling the role of plasticity rules in reservoir computing [0.0]
Reservoir Computing (RC) は機械学習において魅力的なアプローチである。
我々は,RCの性能向上につながる変化に対して,塑性規則が果たす役割を分析する。
論文 参考訳（メタデータ） (2021-01-14T19:55:30Z) - Implicit Under-Parameterization Inhibits Data-Efficient Deep
Reinforcement Learning [97.28695683236981]
さらなる勾配更新により、現在の値ネットワークの表現性が低下する。
AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
論文 参考訳（メタデータ） (2020-10-27T17:55:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。