論文の概要: A Study of Plasticity Loss in On-Policy Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2405.19153v2
• Date: Fri, 01 Nov 2024 16:47:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:33:05.806257
• Title: A Study of Plasticity Loss in On-Policy Deep Reinforcement Learning
• Title（参考訳）: オンライン深部補強学習における塑性損失の検討
• Authors: Arthur Juliani, Jordan T. Ash,
• Abstract要約: 本研究は, 都市深部RLのドメインシフトにより, 可塑性損失が広まることを示す。 再生方法のクラスは, 様々な文脈において, 可塑性損失を連続的に軽減できることがわかった。
• 参考スコア（独自算出の注目度）: 7.767611890997147
• License:
• Abstract: Continual learning with deep neural networks presents challenges distinct from both the fixed-dataset and convex continual learning regimes. One such challenge is plasticity loss, wherein a neural network trained in an online fashion displays a degraded ability to fit new tasks. This problem has been extensively studied in both supervised learning and off-policy reinforcement learning (RL), where a number of remedies have been proposed. Still, plasticity loss has received less attention in the on-policy deep RL setting. Here we perform an extensive set of experiments examining plasticity loss and a variety of mitigation methods in on-policy deep RL. We demonstrate that plasticity loss is pervasive under domain shift in this regime, and that a number of methods developed to resolve it in other settings fail, sometimes even performing worse than applying no intervention at all. In contrast, we find that a class of ``regenerative'' methods are able to consistently mitigate plasticity loss in a variety of contexts, including in gridworld tasks and more challenging environments like Montezuma's Revenge and ProcGen.
• Abstract（参考訳）: ディープニューラルネットワークによる連続学習は、固定データセットと凸学習の双方とは異なる課題を提示する。 そのような課題の1つは可塑性損失であり、オンラインでトレーニングされたニューラルネットワークは、新しいタスクに適合する劣化した能力を示す。 この問題は、教師付き学習と非政治強化学習(RL)の両方で広く研究されており、多くの治療法が提案されている。 それでも、公共の深いRL設定では、プラスチックの損失があまり注目されていない。 そこで我々は, 都市深部RLにおける可塑性損失と各種緩和法について, 広範囲にわたる実験を行った。 この体制下では, 可塑性損失はドメインシフトによって広まっており, 他の方法で解決するために開発された多くの手法は失敗する。 対照的に、'regenerative'メソッドのクラスは、グリッドワールドタスクやMontezumaのRevengeやProcGenのようなより困難な環境を含む、さまざまなコンテキストにおける可塑性損失を一貫して軽減できる。

関連論文リスト

• Plasticity Loss in Deep Reinforcement Learning: A Survey [15.525552360867367]
  塑性は深層強化学習(RL)エージェントにとって不可欠である。 可塑性が失われると、データ分布の変化を考慮に入れないため、エージェントのパフォーマンスが低下する。 可塑性の喪失は、トレーニング不安定性、スケール失敗、過大評価バイアス、探検不足など、深いRLを悩ませる多くの問題と結びつくことができる。
  論文  参考訳（メタデータ） (2024-11-07T16:13:54Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Learning fast changing slow in spiking neural networks [3.069335774032178]
  強化学習(Reinforcement Learning, RL)は、実生活問題に適用する際の課題である。 生涯学習機械は可塑性安定パラドックスを解決しなければならない。 新たな知識の獲得と安定性の維持のバランスを取ることは、人工エージェントにとって不可欠である。
  論文  参考訳（メタデータ） (2024-01-25T12:03:10Z)
• Loss of Plasticity in Continual Deep Reinforcement Learning [14.475963928766134]
  ディープRLエージェントは,Atari 2600の一連のゲームで,優れたポリシーを学習する能力を失っていることを実証する。 我々はこの現象を大規模に研究し、時間とともに重み、勾配、活性化がどのように変化するかを分析する。 解析の結果,ネットワークの活性化フットプリントがスペーサーとなり,勾配が減少することがわかった。
  論文  参考訳（メタデータ） (2023-03-13T22:37:15Z)
• Understanding plasticity in neural networks [41.79540750236036]
  可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。 深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
  論文  参考訳（メタデータ） (2023-03-02T18:47:51Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Disturbing Reinforcement Learning Agents with Corrupted Rewards [62.997667081978825]
  強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。 敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
  論文  参考訳（メタデータ） (2021-02-12T15:53:48Z)
• Deep Reinforcement Learning amidst Lifelong Non-Stationarity [67.24635298387624]
  政治以外のRLアルゴリズムは、寿命の長い非定常性に対処できることを示す。 提案手法は潜在変数モデルを用いて,現在および過去の経験から環境表現を学習する。 また, 生涯の非定常性を示すシミュレーション環境もいくつか導入し, 環境変化を考慮しないアプローチを著しく上回っていることを実証的に確認した。
  論文  参考訳（メタデータ） (2020-06-18T17:34:50Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)
• Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve Adversarial Robustness [79.47619798416194]
  Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。 予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-03-02T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。