Fugu-MT 論文翻訳(概要): Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch

論文の概要: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch

arxiv url: http://arxiv.org/abs/2503.22244v1
Date: Fri, 28 Mar 2025 08:52:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-31 15:31:11.604786
Title: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
Title（参考訳）: 配電ミスマッチ下におけるオンライン政策グラディエント手法の解析
Authors: Weizhen Wang, Jianping He, Xiaoming Duan,
Abstract要約: 配当ミスマッチが政策勾配法に与える影響を解析する。本研究は, 政策勾配法の堅牢性に関する新たな知見と, 理論的基礎と実践的実装のギャップについて考察した。
参考スコア（独自算出の注目度）: 5.684512532326261
License:
Abstract: Policy gradient methods are one of the most successful methods for solving challenging reinforcement learning problems. However, despite their empirical successes, many SOTA policy gradient algorithms for discounted problems deviate from the theoretical policy gradient theorem due to the existence of a distribution mismatch. In this work, we analyze the impact of this mismatch on the policy gradient methods. Specifically, we first show that in the case of tabular parameterizations, the methods under the mismatch remain globally optimal. Then, we extend this analysis to more general parameterizations by leveraging the theory of biased stochastic gradient descent. Our findings offer new insights into the robustness of policy gradient methods as well as the gap between theoretical foundations and practical implementations.
Abstract（参考訳）: 政策勾配法は、強化学習問題の解決に最も成功した方法の1つである。しかし、実証的な成功にもかかわらず、割引問題に対する多くのSOTAポリシー勾配アルゴリズムは、分布ミスマッチの存在により理論的なポリシー勾配定理から逸脱している。本研究では,このミスマッチが政策勾配法に与える影響を解析する。具体的には、まず、表のパラメータ化の場合、ミスマッチの手法がグローバルに最適であることを示す。そして、偏りのある確率勾配勾配の理論を活用することにより、より一般的なパラメータ化に拡張する。本研究は, 政策勾配法の堅牢性に関する新たな知見と, 理論的基礎と実践的実装のギャップについて考察した。

関連論文リスト

Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [56.92178753201331]
平均逆無限水平POMDPを未知の遷移モデルで扱う。この障壁を克服する斬新でシンプルな推定器を提示する。
論文参考訳（メタデータ） (2025-01-30T22:29:41Z)
Mollification Effects of Policy Gradient Methods [16.617678267301702]
政策勾配法が非滑らかな最適化環境をどう動員するかを理解するための厳密な枠組みを開発する。政策勾配法と逆熱方程式の解法との等価性を実証する。我々は、この制限と調和解析における不確実性原理の関連性を、RLにおける政策による探索の効果を理解するために作成する。
論文参考訳（メタデータ） (2024-05-28T05:05:33Z)
A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文参考訳（メタデータ） (2024-05-24T21:09:19Z)
Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
論文参考訳（メタデータ） (2024-05-03T16:45:15Z)
Elementary Analysis of Policy Gradient Methods [3.468656086349638]
本稿では、割引MDPの設定に焦点をあて、前述の政策最適化手法の体系的研究を行う。 1)任意の一定のステップサイズに対する投影された方針勾配の大域的線形収束、2)任意の一定のステップサイズに対するソフトマックス方針勾配の大域的線形収束、3)任意の一定のステップサイズに対するソフトマックス自然政策勾配の大域的線形収束、4)既存の結果よりも広い一定のステップサイズに対するエントロピー正規化ソフトマックス方針勾配の大域的線形収束、5)エントロピー正規化自然政策勾配の厳密な局所的収束率、6)新しい局所的2次収束率。
論文参考訳（メタデータ） (2024-04-04T11:16:16Z)
Gradient Informed Proximal Policy Optimization [35.22712034665224]
本稿では,PPOアルゴリズムと差別化可能な環境からの解析的勾配を統合した新しいポリシー学習手法を提案する。アルファ値を適応的に修正することにより、学習中の分析的方針勾配の影響を効果的に管理できる。提案手法は, 関数最適化, 物理シミュレーション, 交通制御環境など, 様々なシナリオにおいて, ベースラインアルゴリズムよりも優れている。
論文参考訳（メタデータ） (2023-12-14T07:50:21Z)
Optimization Landscape of Policy Gradient Methods for Discrete-time Static Output Feedback [22.21598324895312]
本稿では,静的な出力フィードバック制御に適用した場合に,ポリシー勾配法に固有の最適化環境を解析する。 3つの政策勾配法に対する定常点への収束(およびほぼ次元自由率)に関する新しい知見を導出する。我々は,バニラポリシー勾配法が,そのようなミニマに近づいた場合,局所最小マに対して線形収束を示すことを示す。
論文参考訳（メタデータ） (2023-10-29T14:25:57Z)
A Temporal-Difference Approach to Policy Gradient Estimation [27.749993205038148]
本稿では,特定のサンプリング戦略を必要とせず,開始状態から方針勾配を再構築する新しい手法を提案する。本研究では、非政治データストリームからの勾配批判の時間差更新を用いて、分散シフト問題をモデル無しでサイドステップする最初の推定器を開発する。
論文参考訳（メタデータ） (2022-02-04T21:23:33Z)
Bag of Tricks for Natural Policy Gradient Reinforcement Learning [87.54231228860495]
我々は,自然政策勾配強化学習のパフォーマンスに影響を及ぼす戦略を実装し,比較した。提案されたパフォーマンス最適化戦略の収集は、MuJuCoコントロールベンチマークにおいて、結果を86%から181%改善することができる。
論文参考訳（メタデータ） (2022-01-22T17:44:19Z)
Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
論文参考訳（メタデータ） (2020-03-09T13:05:47Z)
Statistically Efficient Off-Policy Policy Gradients [80.42316902296832]
政治外のデータから政策勾配を統計的に効率的に推定する。パラメトリックな仮定を伴わずに下界を実現するメタアルゴリズムを提案する。我々は、新たな推定政策勾配の方向へ進む際に、定常点に近づく速度の保証を確立する。
論文参考訳（メタデータ） (2020-02-10T18:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。