論文の概要: Retry Policy Gradients in Continuous Action Spaces

• arxiv url: http://arxiv.org/abs/2606.05888v1
• Date: Thu, 04 Jun 2026 08:57:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-06 06:55:34.643065
• Title: Retry Policy Gradients in Continuous Action Spaces
• Title（参考訳）: 連続行動空間におけるリトライ政策のグラディエント
• Authors: Soichiro Nishimori, Paavo Parmas,
• Abstract要約: リトライ目的に対するパスワイズ微分推定器を導入し、ReMaxを連続的なアクション空間に拡張する。 ReMaxは、政策の緩やかな景観を再構築することで探索を促進することができることを示す。 我々は、この目的を、政治以外のアクター批判アルゴリズムであるReMAC(ReMax Actor-Critic)として初期化する。
• 参考スコア（独自算出の注目度）: 3.78414997207345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retry-based objectives such as pass@K and max@K optimize the best return obtained from multiple sampled trajectories, and recent work has shown that they can promote exploration without explicit exploration bonuses. In discrete action spaces, ReMax was shown to do so by adapting to return uncertainty. In this work, we introduce pathwise derivative estimators for retry objectives and use them to extend ReMax to continuous action spaces. We study the resulting learning dynamics and show that, even with deterministic rewards, ReMax can encourage stochastic exploration by reshaping the policy-gradient landscape. In particular, it alters gradients both in direction, biasing updates toward higher policy entropy, and in magnitude, damping gradients and slowing convergence. We further show that Adam's adaptive normalization can mitigate this damping, depending on its numerical stabilization parameter. Empirically, we instantiate this objective as ReMax Actor-Critic (ReMAC), an off-policy actor--critic algorithm that optimizes the ReMax objective using a pathwise derivative estimator. Our experiments show that ReMAC can promote higher policy entropy without entropy regularization and achieves performance comparable to SAC.
• Abstract（参考訳）: pass@Kやmax@Kのようなリトライベースの目的は、複数のサンプル軌道から得られる最良のリターンを最適化する。 離散的な作用空間では、ReMaxは不確実性を返すために適応することでそうすることが示されている。 本研究では、目的を再現するためのパスワイズ微分推定器を導入し、それをReMaxを連続的な作用空間に拡張するために利用する。 結果の学習力学を考察し、決定論的報酬であっても、ReMaxは政策段階のランドスケープを再構築することで確率的探索を促進することができることを示す。 特に、方向の勾配を変更し、より高い政策エントロピーへの更新をバイアスし、マグニチュードで勾配を減衰させ、収束を遅くする。 さらに、Adamの適応正規化は、数値安定化パラメータによって、この減衰を緩和できることを示す。 実証的には、この目的を、パスワイズ微分推定器を用いてReMax目標を最適化する非政治アクター批判アルゴリズムであるReMAC(ReMax Actor-Critic)としてインスタンス化する。 実験の結果,ReMACはエントロピー正則化を伴わずに高いポリシーエントロピーを促進でき,SACに匹敵する性能を達成できることがわかった。

関連論文リスト

• Emergence of Exploration in Policy Gradient Reinforcement Learning via Retrying [28.212141160523178]
  ReMaxは、$M$以上の最大戻り値でポリシーを評価する目的であり、$M$は正の整数であり、返却の不確実性を考慮している。 効率的な政策最適化のために、ReMaxの新しいポリシー段階の定式化を導き、ReMaxを最適化するPPO変種ReMax PPO(RePPO)を導入し、離散再試算数$M$を連続パラメータ$m > 0$に一般化し、探索のきめ細かい制御を可能にする。 実証的には、RePPOはMinAtarとCraftaxベンチマーク上で、明確な探索ボーナスなしで探索を促進する。
  論文  参考訳（メタデータ） (2026-05-29T03:35:13Z)
• Reward Redistribution for CVaR MDPs using a Bellman Operator on L-infinity [16.835098688159004]
  静的条件付きリスクリスク(CVaR)のようなテールエンドのリスク対策は、稀だが破滅的な事態を防止するために安全クリティカルな応用に用いられている。 我々は、離散化された拡張状態に依存するリスク逆値とモデルなしQ-ラーニングアルゴリズムを開発した。 実験により,本アルゴリズムはCVaR感受性ポリシーを学習し,効果的な性能保証トレードオフを実現することができた。
  論文  参考訳（メタデータ） (2026-02-03T17:39:45Z)
• Reparameterization Proximal Policy Optimization [35.59197802340267]
  ポリシーグラデーション(RPG)は、微分可能なダイナミクスを活用することで、サンプル効率を改善することを約束している。 我々は、安定なサンプル再利用を可能にするために代理目的を利用するPPO(Proximal Policy Optimization)からインスピレーションを得ている。 本稿では,安定かつサンプル効率の高いRPGベースの手法であるRe Parameters Proximal Policy Optimization (RPO)を提案する。 RPOはRPGに適したポリシー勾配クリッピング機構を用いることで、複数のエポック上で安定したサンプル再利用を可能にする。
  論文  参考訳（メタデータ） (2025-08-08T10:50:55Z)
• Recursive Reward Aggregation [60.51668865089082]
  本稿では,報酬関数の変更を不要としたフレキシブルな行動アライメントのための代替手法を提案する。 マルコフ決定過程(MDP)の代数的視点を導入することにより、ベルマン方程式が報酬の生成と集約から自然に現れることを示す。 我々のアプローチは決定論的および決定論的設定の両方に適用され、価値に基づくアルゴリズムとアクター批判的アルゴリズムとシームレスに統合される。
  論文  参考訳（メタデータ） (2025-07-11T12:37:20Z)
• Risk-averse Learning with Non-Stationary Distributions [18.15046585146849]
  本稿では,ランダムなコスト分布が時間とともに変化するリスク-逆オンライン最適化について検討する。 リスクの条件値(CVaR)をリスク尺度として用いたリスク逆目的関数を最小化する。 設計した学習アルゴリズムは,凸関数と凸関数の両方に対して高い確率で線形動的後悔を実現する。
  論文  参考訳（メタデータ） (2024-04-03T18:16:47Z)
• Truncating Trajectories in Monte Carlo Reinforcement Learning [48.97155920826079]
  強化学習(RL)において、エージェントは未知の環境で動作し、外部報酬信号の期待累積割引和を最大化する。 我々は,異なる長さの軌跡の収集につながるアプリオリ予算配分戦略を提案する。 軌道の適切な切り離しが性能向上に成功することを示す。
  論文  参考訳（メタデータ） (2023-05-07T19:41:57Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Variance Penalized On-Policy and Off-Policy Actor-Critic [60.06593931848165]
  本稿では,平均値と変動値の両方を含むパフォーマンス基準を最適化する,オン・ポリティィおよびオフ・ポリティィ・アクター・クリティカルなアルゴリズムを提案する。 提案手法は, アクタ批判的かつ事前の分散-ペナライゼーションベースラインに匹敵するだけでなく, リターンのばらつきが低いトラジェクトリも生成する。
  論文  参考訳（メタデータ） (2021-02-03T10:06:16Z)
• Policy Gradient for Continuing Tasks in Non-stationary Markov Decision Processes [112.38662246621969]
  強化学習は、マルコフ決定プロセスにおいて期待される累積報酬を最大化するポリシーを見つけることの問題を考える。 我々は、ポリシーを更新するために上昇方向として使用する値関数の偏りのないナビゲーション勾配を計算する。 ポリシー勾配型アルゴリズムの大きな欠点は、定常性の仮定が課せられない限り、それらがエピソジックなタスクに限定されていることである。
  論文  参考訳（メタデータ） (2020-10-16T15:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。