論文の概要: Rethinking Plasticity in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2603.21173v1
• Date: Sun, 22 Mar 2026 11:27:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.274799
• Title: Rethinking Plasticity in Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習における塑性の再考
• Authors: Zhiqiang He,
• Abstract要約: 本稿では, 深部強化学習(RL)における塑性損失の基本的なメカニズムについて検討する。 本稿では,従来のタスクの最適点が,新しいタスクの局所的最適度に乏しいため,可塑性損失が発生することを示唆する最適化・中心塑性(OCP)仮説を提案する。 複雑なドメインにおけるネットワーク可塑性の理解と復元のための厳密な最適化に基づくフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 3.18807491942654
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper investigates the fundamental mechanisms driving plasticity loss in deep reinforcement learning (RL), a critical challenge where neural networks lose their ability to adapt to non-stationary environments. While existing research often relies on descriptive metrics like dormant neurons or effective rank, these summaries fail to explain the underlying optimization dynamics. We propose the Optimization-Centric Plasticity (OCP) hypothesis, which posits that plasticity loss arises because optimal points from previous tasks become poor local optima for new tasks, trapping parameters during task transitions and hindering subsequent learning. We theoretically establish the equivalence between neuron dormancy and zero-gradient states, demonstrating that the absence of gradient signals is the primary driver of dormancy. Our experiments reveal that plasticity loss is highly task-specific; notably, networks with high dormancy rates in one task can achieve performance parity with randomly initialized networks when switched to a significantly different task, suggesting that the network's capacity remains intact but is inhibited by the specific optimization landscape. Furthermore, our hypothesis elucidates why parameter constraints mitigate plasticity loss by preventing deep entrenchment in local optima. Validated across diverse non-stationary scenarios, our findings provide a rigorous optimization-based framework for understanding and restoring network plasticity in complex RL domains.
• Abstract（参考訳）: 本稿では,ニューラルネットワークが非定常環境に適応する能力を失う重要な課題である深層強化学習(RL)における可塑性損失の基本的なメカニズムについて検討する。 既存の研究はしばしば休眠ニューロンや効果的なランクのような記述的な指標に依存しているが、これらの要約は基礎となる最適化のダイナミクスを説明できない。 本稿では,従来のタスクの最適点が,タスク遷移時のパラメータのトラップや,その後の学習の妨げとなるため,可塑性損失が生じるという最適化中心塑性仮説を提案する。 理論的には、ニューロン休眠状態とゼロ段階状態の等価性を確立し、勾配信号の欠如が休眠の第一の要因であることを示す。 実験の結果, 可塑性損失はタスクに特化していることが明らかとなった。特に, 1つのタスクで高い休眠率のネットワークは, 異なるタスクに切り替えた場合, ランダムに初期化ネットワークと同等の性能を達成でき, ネットワークの容量は維持されるが, 特定の最適化環境によって抑制される可能性が示唆された。 さらに, パラメータ制約が局所最適の深部侵入を防止し, 可塑性損失を緩和する理由を考察した。 様々な非定常シナリオにまたがって検証され、複雑なRLドメインにおけるネットワーク可塑性の理解と復元のための厳密な最適化ベースのフレームワークを提供する。

関連論文リスト

• Understanding and Exploiting Plasticity for Non-stationary Network Resource Adaptation [7.036243456626816]
  ニューラルネットワークは可塑性損失に悩まされ,ネットワークの進化に適応する能力が著しく損なわれていることを示す。 リセットサイレントニューロン (ReSiN) は, 前向きおよび後向きの伝播状態によって誘導される戦略的ニューロンリセットを介して神経可塑性を保っている。 適応型ビデオストリーミングシステムの実装において、ReSiNは既存のソリューションよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-05-02T21:03:03Z)
• Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning [122.67854581396578]
  Plasticineは、深層強化学習における塑性最適化をベンチマークするためのオープンソースのフレームワークである。 Plasticineは13以上の緩和メソッド、評価メトリクス10、学習シナリオの単一ファイル実装を提供する。
  論文  参考訳（メタデータ） (2025-04-24T12:32:13Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages [56.98243487769916]
  ニューラルネットワークが新しいデータで進化する能力である塑性は、高性能でサンプル効率のよい視覚強化学習に不可欠である。 本稿では,批評家の可塑性レベルに基づいてリプレイ率を動的に調整するAdaptive RRを提案する。
  論文  参考訳（メタデータ） (2023-10-11T12:05:34Z)
• Understanding plasticity in neural networks [41.79540750236036]
  可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。 深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
  論文  参考訳（メタデータ） (2023-03-02T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。