論文の概要: Bridging Exploration and Loss of Plasticity in On-Policy Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.36309v1
• Date: Mon, 26 Oct 2026 21:32:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.437551
• Title: Bridging Exploration and Loss of Plasticity in On-Policy Reinforcement Learning
• Title（参考訳）: オンライン強化学習におけるブリッジング探索と塑性損失
• Abstract要約: 深い強化学習アルゴリズムが新しいデータから適応的に学習する能力を失うと、プラスチックの損失(LoP)が観測される。 我々は、RL内の多くの連続作用空間に対する最先端の定式化である等方的ガウスポリシーを用いて、近似ポリシー最適化におけるLoPを解析する。 我々は、LoPの範囲に$$の有意な効果を観測し、理論的および実験的支持論の両方に付随する。
• 参考スコア（独自算出の注目度）: 1.8315988392353102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep reinforcement learning (RL) algorithms have been observed to lose the ability to adaptively learn from new data, a phenomenon termed Loss of Plasticity (LoP). While many metrics have been shown to correlate with it, the causal mechanisms and the geometric conditions from which it can arise have not been clearly identified. We analyze LoP in Proximal Policy Optimization with isotropic Gaussian policies, the state-of-the-art formulation for many continuous action spaces in RL. We report multiple metrics which characterize the effect that the policy standard deviation $σ$ has on LoP, and we also suggest related explanations for the effectiveness of widely adopted LoP mitigation techniques. We observe a significant effect of $σ$ on the extent of LoP, and accompany this with both theoretical and experimental supporting arguments. Our experimental validation consists of LoP benchmark evaluations against standard baselines as well as real-world policy deployment on a 7-DoF robotic arm.
• Abstract（参考訳）: 深部強化学習(RL)アルゴリズムは、LoP(Los of Plasticity)と呼ばれる新しいデータから適応的に学習する能力を失うことが観察されている。 多くの指標がそれと相関していることが示されているが、因果機構とそれに起因する幾何学的条件は明確には特定されていない。 我々は、RL内の多くの連続作用空間に対する最先端の定式化である等方的ガウスポリシーを用いて、近似ポリシー最適化におけるLoPを解析する。 ポリシー標準である$σ$がLoPに与える影響を特徴付ける複数の指標を報告し、また、広く採用されているLoP緩和技術の有効性について、関連する説明を提案する。 我々は、LoP の範囲に$σ$ の有意な効果を観測し、これを理論的および実験的支持論に付随させる。 実験による検証は,標準ベースラインに対するLoPベンチマーク評価と,7-DoFロボットアーム上での実際のポリシー展開から成っている。

関連論文リスト

• Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence [30.279819569264053]
  本稿では,分散レンズによるLLMアルゴリズムの理解と設計のための,原理的かつ統一的なフレームワークを提案する。 異なる$f$-divergencesは、異なるジオメトリとポリシー更新ダイナミクスを誘導することを示す。 この枠組みの下では、PPOとDAPO、DPPO、RIPOといった最近の変種が特別なケースとして出現する。
  論文  参考訳（メタデータ） (2026-10-09T05:17:26Z)
• Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization [44.5236237359076]
  PPO-Clipはユークリッド計量を用いて政策の不一致を暗黙的に測定する。 この幾何学的ミスマッチは、低確率領域において過度に保守的な更新をもたらすが、高確率領域では攻撃的であり、究極的には崩壊する。 RIPOは既存のLLM RLアルゴリズムを7つの競合レベルのベンチマークで大幅に上回っている。
  論文  参考訳（メタデータ） (2026-07-11T07:19:59Z)
• OGPO: Sample Efficient Full-Finetuning of Generative Control Policies [53.42266064673132]
  ジェネレーティブコントロールポリシー(GCP)は、ロボット学習に有効なパラメータ化として登場した。 この研究は、GCPを微調整するためのサンプル効率であるOGPO(Off-policy Generative Policy Optimization)を導入している。 OGPOはマルチタスク設定、高精度挿入、デクスタラス制御にまたがる操作タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-04T18:36:40Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning [28.02073546326571]
  政策エントロピーは、訓練中の探検と搾取のバランスを反映している。 既存の方法は、クリッピング機構により、低確率トークンから貴重な勾配信号を捨てる。 textbfGradient textbfPreserving textbfPolicy textbfOptimization を用いて textbfCoordinating textbfEntropy を提案する。
  論文  参考訳（メタデータ） (2025-09-25T03:22:04Z)
• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• PC-PG: Policy Cover Directed Exploration for Provable Policy Gradient Learning [35.044047991893365]
  本研究は,政策カバーグラディエント(PC-PG)アルゴリズムを導入し,政策(政策カバー)のアンサンブルを用いて,探索対搾取トレードオフのバランスをとる。 我々は,PC-PG が標準最悪の場合である $ell_infty$ の仮定を超越したモデル不特定性の下で強い保証を持つことを示す。 また、報酬なしと報酬駆動の両方の設定において、様々な領域にまたがる経験的評価で理論を補完する。
  論文  参考訳（メタデータ） (2020-07-16T16:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。