論文の概要: Emergence of Exploration in Policy Gradient Reinforcement Learning via Retrying
- arxiv url: http://arxiv.org/abs/2606.00151v1
- Date: Fri, 29 May 2026 03:35:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.067775
- Title: Emergence of Exploration in Policy Gradient Reinforcement Learning via Retrying
- Title（参考訳）: リトライによる政策グラディエント強化学習における探索の創発
- Abstract要約: ReMaxは、$M$以上の最大戻り値でポリシーを評価する目的であり、$M$は正の整数であり、返却の不確実性を考慮している。
効率的な政策最適化のために、ReMaxの新しいポリシー段階の定式化を導き、ReMaxを最適化するPPO変種ReMax PPO(RePPO)を導入し、離散再試算数$M$を連続パラメータ$m > 0$に一般化し、探索のきめ細かい制御を可能にする。
実証的には、RePPOはMinAtarとCraftaxベンチマーク上で、明確な探索ボーナスなしで探索を促進する。
- 参考スコア（独自算出の注目度）: 28.212141160523178
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In reinforcement learning (RL), agents benefit from exploration only because they repeatedly encounter similar states: trying different actions can improve performance or reduce uncertainty; without such retries, a greedy policy is optimal. We formalize this intuition with ReMax, an objective that evaluates a policy by the expected maximum return over $M$ samples, where $M$ is a positive integer, while accounting for return uncertainty. Optimizing this objective induces stochastic exploration as an emergent property, without explicit bonus terms. For efficient policy optimization, we derive a new policy-gradient formulation for ReMax and introduce ReMax PPO (RePPO), a PPO variant that optimizes ReMax while generalizing the discrete retry count $M$ to a continuous parameter $m > 0$, enabling fine-grained control of exploration. Empirically, RePPO promotes exploration, without any explicit exploration bonuses, on the MinAtar and Craftax benchmarks.
- Abstract（参考訳）: 強化学習(RL)では、エージェントは、同様の状態を繰り返し遭遇するため、探索の恩恵を受ける:異なるアクションを試すことは、パフォーマンスを改善したり、不確実性を減らすことができる;そのような再試行がなければ、欲求政策は最適である。
この直観をReMaxで定式化する。これは、$M$以上の最大戻り値でポリシーを評価する目的であり、$M$は正の整数であり、返却の不確実性を考慮している。
この目的を最適化すると、明示的なボーナス項なしで確率探索が創発的な性質として引き起こされる。
効率的な政策最適化のために、ReMaxの新しいポリシー段階の定式化を導き、ReMaxを最適化するPPOの変種ReMax PPO(RePPO)を導入し、離散再試算数$M$を連続パラメータ$m > 0$に一般化し、探索のきめ細かい制御を可能にする。
実証的には、RePPOはMinAtarとCraftaxベンチマーク上で、明確な探索ボーナスなしで探索を促進する。
関連論文リスト
- Retry Policy Gradients in Continuous Action Spaces [3.78414997207345]
リトライ目的に対するパスワイズ微分推定器を導入し、ReMaxを連続的なアクション空間に拡張する。
ReMaxは、政策の緩やかな景観を再構築することで探索を促進することができることを示す。
我々は、この目的を、政治以外のアクター批判アルゴリズムであるReMAC(ReMax Actor-Critic)として初期化する。
論文 参考訳（メタデータ） (2026-06-04T08:57:45Z) - Improved Bounds for Reward-Agnostic and Reward-Free Exploration [5.120675183010349]
エピソード有限水平マルコフ決定過程における報酬フリーおよび報酬非依存探索について検討する。
Reward-free Exploringは、探索後に明らかになった報酬に対して$$-optimal Policyを有効にすることを目的としており、報奨非依存な探索は、小さな有限クラスから引き出された報酬に対して$-optimalityをターゲットとしている。
論文 参考訳（メタデータ） (2026-02-18T11:04:15Z) - Intrinsic Reward Policy Optimization for Sparse-Reward Environments [1.9336815376402718]
固有の報酬は、探索のための原則化されたガイダンスを提供することができる。
本稿では、複数の本質的な報酬を利用してポリシーを直接最適化する政策最適化フレームワークを提案する。
提案アルゴリズムは,代用ポリシー勾配を用いて,本態性報酬ポリシー最適化(IRPO)によって実現されている。
論文 参考訳（メタデータ） (2026-01-29T08:25:14Z) - Asymmetric REINFORCE for off-Policy Reinforcement Learning: Balancing positive and negative rewards [17.695285420477035]
オフポリシーRLと教師付き微調整の中間領域のアルゴリズムについて検討する。
まず、このオフポリティREINFORCEアルゴリズムの理論的解析を行う。
我々の分析によると、オンライン更新はポジティブな信号とネガティブな信号の両方を安全に活用できるが、オフライン更新は、ネガティブな信号よりもポジティブな報酬にフォーカスすることの恩恵を受ける。
論文 参考訳（メタデータ） (2025-06-25T15:07:16Z) - Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。
A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。
PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
論文 参考訳（メタデータ） (2025-05-27T03:58:50Z) - Submodular Reinforcement Learning [38.40138241424851]
強化学習(RL)では、状態の報酬は通常加法的と見なされ、マルコフの仮定に従って、それらは以前に訪れた状態に対して$textitindependent$である。
カバー範囲制御、実験設計、情報経路計画といった多くの重要な応用において、報酬は自然にリターンを減少させ、すなわち、それらの価値は以前に訪れた同様の状態から減少する。
減少するリターンをキャプチャするサブモジュール集合関数をモデルとした,より汎用的で非付加的(かつ履歴に依存しない)報酬を最適化するパラダイムである$textitsubmodular RL$ (SubRL)を提案する。
論文 参考訳（メタデータ） (2023-07-25T09:46:02Z) - Improved Regret for Efficient Online Reinforcement Learning with Linear
Function Approximation [69.0695698566235]
線形関数近似による強化学習と,コスト関数の逆変化について検討した。
本稿では,未知のダイナミクスと帯域幅フィードバックの一般設定に挑戦する,計算効率のよいポリシ最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-30T17:26:39Z) - Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time
Guarantees [56.848265937921354]
逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。
IRLの多くのアルゴリズムは本質的にネスト構造を持つ。
我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-10-04T17:13:45Z) - On Reward-Free RL with Kernel and Neural Function Approximations:
Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。
関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。
我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文 参考訳（メタデータ） (2021-10-19T07:26:33Z) - Reward-Free Exploration for Reinforcement Learning [82.3300753751066]
探索の課題を分離する「逆フリーなRL」フレームワークを提案する。
我々は,$tildemathcalO(S2Amathrmpoly(H)/epsilon2)$の探索を効率的に行うアルゴリズムを提案する。
また、ほぼ一致する$Omega(S2AH2/epsilon2)$ lower boundを与え、この設定でアルゴリズムのほぼ最適性を示す。
論文 参考訳（メタデータ） (2020-02-07T14:03:38Z) - Provably Efficient Exploration in Policy Optimization [117.09887790160406]
本稿では,最適化アルゴリズム(OPPO)の最適変種を提案する。
OPPO は $tildeO(sqrtd2 H3 T )$ regret を達成する。
我々の知る限りでは、OPPOは、探索する最初の証明可能な効率的なポリシー最適化アルゴリズムである。
論文 参考訳（メタデータ） (2019-12-12T08:40:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。