論文の概要: Towards Understanding the Impact of Plasticity Loss on Reinforcement Learning in Stochastic Environments

• arxiv url: http://arxiv.org/abs/2610.42100v1
• Date: Fri, 30 Oct 2026 17:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.857962
• Title: Towards Understanding the Impact of Plasticity Loss on Reinforcement Learning in Stochastic Environments
• Title（参考訳）: 塑性損失が確率環境における強化学習に及ぼす影響の理解に向けて
• Abstract要約: 可塑性の喪失は これまでのところ 環境の強化が進んでいます 可塑性保存法は、2つの難しいタスクにおける学習の堅牢性を高める。 可塑性損失は訓練の初期段階で最も顕著である。
• 参考スコア（独自算出の注目度）: 3.5178680418107464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep reinforcement learning (RL) is a powerful framework for sequential decision-making. Despite many high-profile successes in recent years, deep RL is known to be brittle. An emerging line of research attributes this brittleness to a loss of plasticity in neural networks. However, plasticity loss has so far been understudied in stochastic environments. We study this interplay systematically, training SAC agents on three DeepMind Control tasks augmented with controlled levels of observation and action noise. We find that plasticity-preserving methods increase learning robustness on the two harder tasks, with their advantage growing as observation noise increases, while combining resets with layer normalization underperforms resets alone at every observation noise level tested. Further, stochasticity can accelerate the loss of plasticity in harder environments, whereas in easier settings noise can act as a regularizer that sustains plasticity. Lastly, plasticity loss is most pronounced in the early stages of training. In the most challenging stochastic settings, TD instability rather than gradual plasticity loss becomes the dominant failure mode.
• Abstract（参考訳）: 深層強化学習(Deep reinforcement learning, RL)は、シーケンシャルな意思決定のための強力なフレームワークである。 近年、多くの顕著な成功にもかかわらず、深いRLは脆いことが知られている。 新たな研究のラインは、この脆さはニューラルネットワークにおける可塑性の喪失に起因する。 しかし, これまでのところ, 塑性損失は確率的環境下で調査されている。 本研究では,SACエージェントを3つのDeepMind制御タスクで学習し,観察レベルと動作ノイズを制御した。 可塑性保存法は2つの難しいタスクにおいて学習の堅牢性を高め,その利点は観測ノイズの増加とともに増大する。 さらに、確率性は硬い環境での可塑性の損失を加速させるが、より簡単な設定ではノイズは可塑性を維持する正則化剤として機能する。 最後に、可塑性損失はトレーニングの初期段階で最も顕著である。 最も難しい確率的設定では、段階的な可塑性損失よりもTD不安定性が支配的な障害モードとなる。

関連論文リスト

• The Rank and Gradient Lost in Non-stationarity: Sample Weight Decay for Mitigating Plasticity Loss in Reinforcement Learning [62.72522261010872]
  深部強化学習(RL)は、非定常性の性質により、可塑性の喪失に苦しむ。 ネットワーク最適化の理論的観点から, 可塑性損失問題について検討する。 勾配等級を復元する軽量な手法であるサンプル重み決定法を提案する。
  論文  参考訳（メタデータ） (2026-04-02T11:29:46Z)
• Mitigating Plasticity Loss in Continual Reinforcement Learning by Reducing Churn [22.354498355750465]
  深部連続RLにおけるチャーンレンズの可塑性損失について検討した。 1) 可塑性の喪失は, ニューラルタンジェントカーネル (NTK) マトリックスの段階的ランク低下によるチャーンの悪化を伴うことを示した。 本稿では,C-CHAIN(Continuous Churn Approximated Reduction)を導入し,学習性能の向上を実証する。
  論文  参考訳（メタデータ） (2025-05-31T14:58:22Z)
• Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning [122.67854581396578]
  Plasticineは、深層強化学習における塑性最適化をベンチマークするためのオープンソースのフレームワークである。 Plasticineは13以上の緩和メソッド、評価メトリクス10、学習シナリオの単一ファイル実装を提供する。
  論文  参考訳（メタデータ） (2025-04-24T12:32:13Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages [56.98243487769916]
  ニューラルネットワークが新しいデータで進化する能力である塑性は、高性能でサンプル効率のよい視覚強化学習に不可欠である。 本稿では,批評家の可塑性レベルに基づいてリプレイ率を動的に調整するAdaptive RRを提案する。
  論文  参考訳（メタデータ） (2023-10-11T12:05:34Z)
• Loss of Plasticity in Continual Deep Reinforcement Learning [14.475963928766134]
  ディープRLエージェントは,Atari 2600の一連のゲームで,優れたポリシーを学習する能力を失っていることを実証する。 我々はこの現象を大規模に研究し、時間とともに重み、勾配、活性化がどのように変化するかを分析する。 解析の結果,ネットワークの活性化フットプリントがスペーサーとなり,勾配が減少することがわかった。
  論文  参考訳（メタデータ） (2023-03-13T22:37:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。