論文の概要: Plasticity Loss in Deep Reinforcement Learning: A Survey
- arxiv url: http://arxiv.org/abs/2411.04832v2
- Date: Fri, 08 Nov 2024 10:19:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-11 11:36:09.912329
- Title: Plasticity Loss in Deep Reinforcement Learning: A Survey
- Title（参考訳）: 深層強化学習における塑性損失に関する調査
- Authors: Timo Klein, Lukas Miklautz, Kevin Sidak, Claudia Plant, Sebastian Tschiatschek,
- Abstract要約: 塑性は深層強化学習(RL)エージェントにとって不可欠である。
可塑性が失われると、データ分布の変化を考慮に入れないため、エージェントのパフォーマンスが低下する。
可塑性の喪失は、トレーニング不安定性、スケール失敗、過大評価バイアス、探検不足など、深いRLを悩ませる多くの問題と結びつくことができる。
- 参考スコア（独自算出の注目度）: 15.525552360867367
- License:
- Abstract: Akin to neuroplasticity in human brains, the plasticity of deep neural networks enables their quick adaption to new data. This makes plasticity particularly crucial for deep Reinforcement Learning (RL) agents: Once plasticity is lost, an agent's performance will inevitably plateau because it cannot improve its policy to account for changes in the data distribution, which are a necessary consequence of its learning process. Thus, developing well-performing and sample-efficient agents hinges on their ability to remain plastic during training. Furthermore, the loss of plasticity can be connected to many other issues plaguing deep RL, such as training instabilities, scaling failures, overestimation bias, and insufficient exploration. With this survey, we aim to provide an overview of the emerging research on plasticity loss for academics and practitioners of deep reinforcement learning. First, we propose a unified definition of plasticity loss based on recent works, relate it to definitions from the literature, and discuss metrics for measuring plasticity loss. Then, we categorize and discuss numerous possible causes of plasticity loss before reviewing currently employed mitigation strategies. Our taxonomy is the first systematic overview of the current state of the field. Lastly, we discuss prevalent issues within the literature, such as a necessity for broader evaluation, and provide recommendations for future research, like gaining a better understanding of an agent's neural activity and behavior.
- Abstract（参考訳）: 人間の脳における神経可塑性と同様に、ディープニューラルネットワークの可塑性は、新しいデータへの迅速な適応を可能にする。
このことは、深層強化学習(RL: Deep Reinforcement Learning)エージェントにとって、塑性が特に重要となる。 塑性が失われると、学習プロセスの必要な結果であるデータ分散の変化を考慮に入れないため、エージェントのパフォーマンスは必然的に高くなる。
このように、良好な性能と試料効率のエージェントの開発は、訓練中にプラスチックを保ち続ける能力に依存している。
さらに、可塑性の喪失は、トレーニング不安定性、スケーリング失敗、過大評価バイアス、不十分な探索など、深いRLを悩ませる多くの問題に関連付けられる。
本調査では, 深層強化学習を実践する学者や実践者を対象に, 可塑性損失に関する最近の研究の概要について述べる。
まず,最近の研究に基づく可塑性損失の統一的定義を提案し,その定義と文献的定義を関連づけるとともに,可塑性損失を測定するための指標について議論する。
そこで我々は,現在導入されている緩和戦略をレビューする前に,可塑性損失の原因を多数分類し検討した。
我々の分類学は、この分野の現状を初めて体系的に概観したものである。
最後に、より広範な評価の必要性など、文献内の一般的な問題について議論し、エージェントの神経活動や行動をよりよく理解するなど、将来の研究に推奨する。
関連論文リスト
- A Study of Plasticity Loss in On-Policy Deep Reinforcement Learning [7.767611890997147]
本研究は, 都市深部RLのドメインシフトにより, 可塑性損失が広まることを示す。
再生方法のクラスは, 様々な文脈において, 可塑性損失を連続的に軽減できることがわかった。
論文 参考訳（メタデータ） (2024-05-29T14:59:49Z) - Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳（メタデータ） (2024-02-29T00:02:33Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages [56.98243487769916]
ニューラルネットワークが新しいデータで進化する能力である塑性は、高性能でサンプル効率のよい視覚強化学習に不可欠である。
本稿では,批評家の可塑性レベルに基づいてリプレイ率を動的に調整するAdaptive RRを提案する。
論文 参考訳（メタデータ） (2023-10-11T12:05:34Z) - PLASTIC: Improving Input and Label Plasticity for Sample Efficient
Reinforcement Learning [54.409634256153154]
強化学習(RL)では, サンプル効率の向上が重要である。
原則として、非政治的なRLアルゴリズムは、環境相互作用毎に複数の更新を可能にすることで、サンプル効率を向上させることができる。
本研究は, この現象の原因を, 塑性を2つの側面に分けて検討した。
論文 参考訳（メタデータ） (2023-06-19T06:14:51Z) - Deep Reinforcement Learning with Plasticity Injection [37.19742321534183]
深層強化学習(RL)ネットワークでは、可塑性が徐々に低下することを示す証拠がある。
可塑性注入はパラメータの数を変更せずにネットワーク可塑性を増加させる。
可塑性注入は 代替方法に比べて より強い性能を得る
論文 参考訳（メタデータ） (2023-05-24T20:41:35Z) - Understanding plasticity in neural networks [41.79540750236036]
可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。
深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
論文 参考訳（メタデータ） (2023-03-02T18:47:51Z) - Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。
本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
論文 参考訳（メタデータ） (2020-06-12T06:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。