論文の概要: Relative Entropy Pathwise Policy Optimization

• arxiv url: http://arxiv.org/abs/2507.11019v3
• Date: Fri, 26 Sep 2025 14:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 14:23:57.504049
• Title: Relative Entropy Pathwise Policy Optimization
• Title（参考訳）: 相対エントロピーパスワイズポリシー最適化
• Authors: Claas Voelcker, Axel Brunnbauer, Marcel Hussing, Michal Nauman, Pieter Abbeel, Eric Eaton, Radu Grosu, Amir-massoud Farahmand, Igor Gilitschenski,
• Abstract要約: そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
• 参考スコア（独自算出の注目度）: 66.03329137921949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-function based methods for policy learning, such as REINFORCE and PPO, have delivered strong results in game-playing and robotics, yet their high variance often undermines training stability. Using pathwise policy gradients, i.e. computing a derivative by differentiating the objective function, alleviates the variance issues. However, they require an accurate action-conditioned value function, which is notoriously hard to learn without relying on replay buffers for reusing past off-policy data. We present an on-policy algorithm that trains Q-value models purely from on-policy trajectories, unlocking the possibility of using pathwise policy updates in the context of on-policy learning. We show how to combine stochastic policies for exploration with constrained updates for stable training, and evaluate important architectural components that stabilize value function learning. The result, Relative Entropy Pathwise Policy Optimization (REPPO), is an efficient on-policy algorithm that combines the stability of pathwise policy gradients with the simplicity and minimal memory footprint of standard on-policy learning. Compared to state-of-the-art on two standard GPU-parallelized benchmarks, REPPO provides strong empirical performance at superior sample efficiency, wall-clock time, memory footprint, and hyperparameter robustness.
• Abstract（参考訳）: REINFORCE(英語版)やPPO(英語版)のようなスコア関数に基づく政策学習法は、ゲームプレイングやロボット工学において大きな成果を上げているが、その高い分散はトレーニングの安定性を損なうことが多い。 パスワイズポリシー勾配(英語版)、すなわち、目的関数を微分することで微分を計算し、分散問題を緩和する。 しかし、それらは正確なアクション条件付き値関数を必要としており、これは、過去のオフポリティデータの再利用にリプレイバッファを使わずに、学ぶのが難しいことで知られている。 そこで我々は,Q値モデルを純粋にオンライン軌道から訓練し,オンライン学習の文脈において,パスワイズなポリシー更新を使用することの可能性を解放するオンラインアルゴリズムを提案する。 本稿では,探索のための確率的ポリシと安定トレーニングのための制約付き更新を組み合わせる方法を示し,価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。 その結果、Relative Entropy Pathwise Policy Optimization (REPPO) は、パスワイズポリシー勾配の安定性と、標準的なオンポリシー学習の単純さと最小限のメモリフットプリントを組み合わせた効率的なオンポリシーアルゴリズムである。 標準的な2つのGPU並列化ベンチマークの最先端と比較すると、REPPOはより優れたサンプル効率、ウォールクロック時間、メモリフットプリント、ハイパーパラメータの堅牢性で強力な経験的パフォーマンスを提供する。

関連論文リスト

• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Logarithmic Smoothing for Adaptive PAC-Bayesian Off-Policy Learning [4.48890356952206]
  オフ政治学習は、ログ化された相互作用から最適なポリシーを学ぶための主要なフレームワークとなる。 我々はこのフレームワークをオンラインPAC-ベイジアン理論のツールを用いて適応シナリオに拡張する。
  論文  参考訳（メタデータ） (2025-06-12T12:54:09Z)
• KIPPO: Koopman-Inspired Proximal Policy Optimization [4.46358470535211]
  強化学習(RL)は様々な分野で大きな進歩を遂げてきた。 PPO(Proximal Policy)のような政策勾配法は、性能、安定性、計算効率のバランスのために人気を博している。
  論文  参考訳（メタデータ） (2025-05-20T16:25:41Z)
• TD-M(PC)$^2$: Improving Temporal Difference MPC Through Policy Constraint [11.347808936693152]
  モデルベースの強化学習アルゴリズムは、モデルベースの計画と学習された価値/政治を組み合わせる。 バリューラーニングに標準のSACスタイルのポリシーイテレーションに依存する既存の手法は、しばしばエンハンピスタントな価値過大評価をもたらす。 本稿では,ODAクエリを削減し,価値学習を改善する政策正規化項を提案する。
  論文  参考訳（メタデータ） (2025-02-05T19:08:42Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
  Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。 我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-11-25T00:30:58Z)
• Time-Efficient Reinforcement Learning with Stochastic Stateful Policies [20.545058017790428]
  我々は,ステートフルな政策を,後者をグラデーションな内部状態カーネルとステートレスなポリシーに分解して訓練するための新しいアプローチを提案する。 我々は、ステートフルなポリシー勾配定理の異なるバージョンを導入し、一般的な強化学習アルゴリズムのステートフルな変種を簡単にインスタンス化できるようにする。
  論文  参考訳（メタデータ） (2023-11-07T15:48:07Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Policy Gradient for Rectangular Robust Markov Decision Processes [62.397882389472564]
  我々は,長方形ロバストなマルコフ決定過程(MDP)を効率的に解く政策ベース手法であるロバストなポリシー勾配(RPG)を導入する。 結果のRPGは、非ロバストな等価値と同じ時間のデータから推定することができる。
  論文  参考訳（メタデータ） (2023-01-31T12:40:50Z)
• Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient [34.16700176918835]
  オフライン強化学習は、より良いデータ効率を約束する。 現在の非政治政策勾配法は、高いバイアスまたは高い分散に悩まされ、しばしば信頼できない見積もりを提供する。 閉形式で解ける非パラメトリックベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2020-10-27T13:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。