論文の概要: A Two-Timescale Primal-Dual Framework for Reinforcement Learning via Online Dual Variable Guidance

• arxiv url: http://arxiv.org/abs/2505.04494v1
• Date: Wed, 07 May 2025 15:18:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:36.123541
• Title: A Two-Timescale Primal-Dual Framework for Reinforcement Learning via Online Dual Variable Guidance
• Title（参考訳）: オンライン二重変数誘導による強化学習のための2段階のPrimal-Dualフレームワーク
• Authors: Axel Friedrich Wolter, Tobias Sutter,
• Abstract要約: 正規化マルコフ決定過程(MDP)の解法としてPGDA-RLを提案する。 PGDA-RLは、経験的リプレイに基づく勾配推定と、基礎となるネスト最適化問題の2段階の分解を統合する。 PGDA-RL は正規化 MDP の最適値関数とポリシーにほぼ確実に収束することを示す。
• 参考スコア（独自算出の注目度）: 3.4354636842203026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study reinforcement learning by combining recent advances in regularized linear programming formulations with the classical theory of stochastic approximation. Motivated by the challenge of designing algorithms that leverage off-policy data while maintaining on-policy exploration, we propose PGDA-RL, a novel primal-dual Projected Gradient Descent-Ascent algorithm for solving regularized Markov Decision Processes (MDPs). PGDA-RL integrates experience replay-based gradient estimation with a two-timescale decomposition of the underlying nested optimization problem. The algorithm operates asynchronously, interacts with the environment through a single trajectory of correlated data, and updates its policy online in response to the dual variable associated with the occupation measure of the underlying MDP. We prove that PGDA-RL converges almost surely to the optimal value function and policy of the regularized MDP. Our convergence analysis relies on tools from stochastic approximation theory and holds under weaker assumptions than those required by existing primal-dual RL approaches, notably removing the need for a simulator or a fixed behavioral policy.
• Abstract（参考訳）: 正規化線形計画法における最近の進歩と確率近似の古典的理論を組み合わせることで強化学習を研究する。 政治調査を継続しながら、政治外データを活用するアルゴリズムを設計する上で、我々は、正規化マルコフ決定過程(MDP)を解くための、新しいプリミティブ・デュアル・プロジェンド・グラディエント・ディクセント・アルゴリズムであるPGDA-RLを提案する。 PGDA-RLは、経験的リプレイに基づく勾配推定と、基礎となるネスト最適化問題の2段階の分解を統合する。 このアルゴリズムは、非同期に動作し、相関データの単一軌跡を介して環境と相互作用し、基礎となるMDPの占有量に関連する2変数に応答して、そのポリシーをオンラインで更新する。 PGDA-RL は正規化 MDP の最適値関数とポリシーにほぼ確実に収束することを示す。 我々の収束解析は確率近似理論のツールに依存しており、既存の原始双対RLアプローチで要求されるものよりも弱い仮定で成り立っている。

関連論文リスト

• Robust Offline Reinforcement Learning with Linearly Structured $f$-Divergence Regularization [10.465789490644031]
  我々は、ロバストな正則化マルコフ決定プロセスのための新しいフレームワーク(d$-RRMDP)を提案する。 オフラインRL設定のために、ロバスト正規化悲観的値イテレーション(R2PVI)と呼ばれるアルゴリズム群を開発する。
  論文  参考訳（メタデータ） (2024-11-27T18:57:03Z)
• Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs [82.34567890576423]
  我々は,非漸近収束を伴う最適決定主義政策を求めるための決定主義的政策勾配原始双対法を開発した。 D-PGPDの一次-双対反復は、最適正則化原始-双対にサブ線形速度で収束することが証明された。 これは連続空間制約型MDPに対する決定論的ポリシー探索法を提案する最初の研究である。
  論文  参考訳（メタデータ） (2024-08-19T14:11:04Z)
• Learning Reward and Policy Jointly from Demonstration and Preference Improves Alignment [58.049113055986375]
  我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。 提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。 本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-11T01:20:53Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
  定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。 オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
  論文  参考訳（メタデータ） (2022-12-29T18:25:01Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• A Subgame Perfect Equilibrium Reinforcement Learning Approach to Time-inconsistent Problems [4.314956204483074]
  我々は,時間一貫性(TIC)問題に対するサブゲーム完全均衡強化学習フレームワークを構築した。 我々は,SPERLを解き,両課題に対処する,BPI(backward Policy iteration)と呼ばれるアルゴリズムの新たなクラスを提案する。 トレーニングフレームワークとしてのBPIの実用性を実証するため,標準的なRLシミュレーション手法を適用し,2つのBPIベースのトレーニングアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-10-27T09:21:35Z)
• The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication [20.891460617583302]
  連立学習パラダイムにおける協調的意思決定のための独立強化学習(IRL)の検討 FLはエージェントとリモート中央サーバ間の過剰な通信オーバーヘッドを生成する。 本稿では,システムの実用性向上のための2つの高度な最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T07:21:43Z)
• Mixed Reinforcement Learning with Additive Stochastic Uncertainty [19.229447330293546]
  強化学習 (Reinforcement Learning, RL) 法は、しばしば最適なポリシーを探索するための大規模な探索データに依存し、サンプリング効率の低下に悩まされる。 本稿では, 環境力学の2つの表現を同時に利用して, 最適ポリシーを探索する混合RLアルゴリズムを提案する。 混合RLの有効性は、非アフィン非線形系の典型的な最適制御問題によって実証される。
  論文  参考訳（メタデータ） (2020-02-28T08:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。