論文の概要: Calibrated Partial Resets: Preventing Policy Collapse in Continual Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.24996v1
• Date: Mon, 27 Jul 2026 18:53:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.599754
• Title: Calibrated Partial Resets: Preventing Policy Collapse in Continual Reinforcement Learning
• Title（参考訳）: 校正部分的リセット:継続的強化学習における政策崩壊防止
• Abstract要約: 本稿では, 可塑性保持のための校正部分リセット (CPR) について, トレーニングを不安定にすることなく提案する。 CPRは、SlipperyAntの4億以上のトレーニングステップでポリシーの崩壊を避ける。 CPRは、継続学習の有望な方向として、ユーティリティスケールの再起動を強調している。
• 参考スコア（独自算出の注目度）: 3.1681974483553663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are hindered by accumulating dormant neurons and loss of expressivity throughout training, particularly in non-stationary data settings, such as continual supervised and reinforcement learning. Recently, neuron resets have been used to maintain gradient flow and restore plasticity. However, full unit reinitialization often sacrifices peak performance and can destabilize training, leading to policy collapse. To preserve plasticity without destabilizing training, we propose Calibrated Partial Resets (CPR), an optimizer that periodically pulls low-utility neurons toward their initialization, with pull strength scaled by each neuron's utility. Unlike binary reset methods, partial resets avoid brittleness; unlike uniform decay, calibrated utility-scaling concentrates adjustment on the units that need it most. Among compared methods, only CPR avoids policy collapse over 400M training steps in SlipperyAnt, and it outperforms prior decay and reset-based methods on Continual MetaWorld and Continual MinAtar benchmarks. Ablations reveal a tunable trade-off between plasticity and peak performance, highlighting utility-scaled reinitialization as a promising direction for continual learning.
• Abstract（参考訳）: ニューラルネットワークは、特に連続的な教師付きや強化学習のような非定常的なデータ設定において、休眠ニューロンの蓄積とトレーニング中の表現力の喪失によって妨げられる。 近年、神経リセットは勾配流の維持と可塑性の回復に用いられている。 しかし、完全なユニットの再起動は、しばしばピークパフォーマンスを犠牲にし、トレーニングを不安定にし、政策の崩壊につながる。 トレーニングを不安定にすることなく可塑性を維持するために,低実用性ニューロンを初期化に向けて周期的に引き出す最適化器であるCalibrated partial Resets (CPR) を提案する。 バイナリリセット法とは異なり、部分リセットは不安定さを回避し、均一な減衰とは異なり、キャリブレーションされたユーティリティスケーリングは、最も必要なユニットの調整に集中する。 比較手法の中で、SlipperyAntの4億以上のトレーニングステップでポリシー崩壊を回避するのはCPRのみであり、Continuous MetaWorldとContinuous MinAtarベンチマークでの事前の崩壊とリセットベースのメソッドよりも優れている。 アブレーションは可塑性とピーク性能のトレードオフを明らかにし、継続的な学習の有望な方向としてユーティリティスケールの再始動を強調している。

関連論文リスト

• PRIME: Plasticity Recovery in Multi-Agent Environments for UAV-Assisted Emergency Communication Networks [5.059907627897051]
  目的が変わると、ニューロンは徐々に休眠状態になり、共有ポリシーは学習能力を失う。 持続的非定常性は、この内部状態を直接的に損なうことを示す。 PRIMEはMAPPOよりも24.9%向上する。
  論文  参考訳（メタデータ） (2026-07-20T13:19:58Z)
• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Attribution-Based Neuron Utility for Plasticity Restoration in Deep Networks [0.0]
  継続的な学習研究は、新しい知識獲得と以前に獲得した知識の保存という2つの基本的な能力を保存しようとする。 近年の研究では、ニューロン飽和、ノルム成長、有用な曲率方向の喪失など、この現象の根底にある複数のメカニズムが特定されている。 適応的リセットに基づく介入は、訓練性を取り戻すための実践的な解決策として現れてきた。
  論文  参考訳（メタデータ） (2026-05-07T18:42:22Z)
• Stochastic Resetting Accelerates Policy Convergence in Reinforcement Learning [5.900714266080361]
  リセットは、ファーストパスプロパティを最適化するための強力なメカニズムである。 リセットは、純粋な拡散剤の探索時間を短縮しない場合でも収束を加速することを示す。 ニューラルネットワークに基づく値近似を用いた連続制御タスクにおいて、探索が困難な場合、ランダムリセットにより深層強化学習が向上することを示す。
  論文  参考訳（メタデータ） (2026-03-17T17:50:32Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• The Lifecycle Principle: Stabilizing Dynamic Neural Networks with State Memory [0.0]
  状態記憶を中心とした正規化機構を提案する。 再生したニューロンを再初期化する代わりに、私の方法はパラメータを最後の既知の有効状態に復元する。 画像分類ベンチマーク実験により, この手法が一般化とロバスト性を向上させることが示された。
  論文  参考訳（メタデータ） (2025-08-24T05:20:01Z)
• A Simple Baseline for Stable and Plastic Neural Networks [3.2635082758250693]
  コンピュータビジョンにおける継続的な学習は、モデルが以前の知識を忘れずに連続的なタスクストリームに適応することを要求する。 RDBPは2つの相補的なメカニズムを結合する低オーバーヘッドベースラインである。ReLUDownは、ニューロンの休眠を予防しながら特徴感度を維持する軽量なアクティベーション修正であり、破壊的な更新から早期の層を段階的に保護する生物学的にインスパイアされた勾配スケジューリングスキームであるバックプロパゲーションの緩和である。
  論文  参考訳（メタデータ） (2025-07-14T13:18:26Z)
• Instance-dependent Early Stopping [57.912273923450726]
  本稿では,早期停止機構をトレーニングセット全体からインスタンスレベルに適応させる,インスタンス依存早期停止(IES)手法を提案する。 IES は、損失値の2階差が 0 付近の小さな範囲に留まっている場合、インスタンスをマスタードとみなす。 IESは、モデルのテスト精度と転送学習性能を維持したり、わずかに改善したりしながら、バックプロパゲーションインスタンスを10%から50%削減することができる。
  論文  参考訳（メタデータ） (2025-02-11T13:34:09Z)
• Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
  継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。 本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。 モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages [56.98243487769916]
  ニューラルネットワークが新しいデータで進化する能力である塑性は、高性能でサンプル効率のよい視覚強化学習に不可欠である。 本稿では,批評家の可塑性レベルに基づいてリプレイ率を動的に調整するAdaptive RRを提案する。
  論文  参考訳（メタデータ） (2023-10-11T12:05:34Z)
• When Does Re-initialization Work? [50.70297319284022]
  再初期化は、最近の研究における一般化を改善するために観察されている。 ディープラーニングの実践では広く採用されておらず、最先端のトレーニングプロトコルでもよく使用されている。 このことは、再初期化がいつ動作するのか、また、正規化技術と一緒に使うべきかという疑問を提起する。
  論文  参考訳（メタデータ） (2022-06-20T21:23:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。