論文の概要: A Dual Approach to Constrained Markov Decision Processes with Entropy
Regularization
- arxiv url: http://arxiv.org/abs/2110.08923v1
- Date: Sun, 17 Oct 2021 21:26:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 20:57:06.932487
- Title: A Dual Approach to Constrained Markov Decision Processes with Entropy
Regularization
- Title(参考訳): エントロピー規則化によるマルコフ決定過程の2次的アプローチ
- Authors: Donghao Ying, Yuhao Ding, Javad Lavaei
- Abstract要約: 本研究では,ソフトマックスパラメータ化の下で,エントロピー規則化制約付きマルコフ決定過程(CMDP)について検討する。
我々の理論的解析は、ラグランジアン双対函数は滑らかであり、ラグランジアン双対性ギャップは原始性ギャップと制約違反に分解できることを示している。
- 参考スコア(独自算出の注目度): 8.333246626497363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study entropy-regularized constrained Markov decision processes (CMDPs)
under the soft-max parameterization, in which an agent aims to maximize the
entropy-regularized value function while satisfying constraints on the expected
total utility. By leveraging the entropy regularization, our theoretical
analysis shows that its Lagrangian dual function is smooth and the Lagrangian
duality gap can be decomposed into the primal optimality gap and the constraint
violation. Furthermore, we propose an accelerated dual-descent method for
entropy-regularized CMDPs. We prove that our method achieves the global
convergence rate $\widetilde{\mathcal{O}}(1/T)$ for both the optimality gap and
the constraint violation for entropy-regularized CMDPs. A discussion about a
linear convergence rate for CMDPs with a single constraint is also provided.
- Abstract(参考訳): ソフトマックスパラメータ化の下で,エントロピー正規化制約付きマルコフ決定過程(CMDP)について検討し,期待される全ユーティリティの制約を満たすとともに,エントロピー正規化値関数の最大化を目指す。
エントロピー正則化を利用することで,ラグランジアン双対関数は滑らかであり,ラグランジアン双対性ギャップは原始最適性ギャップと制約違反に分解可能であることを示す。
さらに, エントロピー正規化cmdpの高速化手法を提案する。
我々は,エントロピー規則化CMDPに対する最適性ギャップと制約違反の両方に対して,この手法が大域収束率$\widetilde{\mathcal{O}}(1/T)$を達成することを証明した。
また,1つの制約を持つCMDPの線形収束率についても論じる。
関連論文リスト
- Double Duality: Variational Primal-Dual Policy Optimization for
Constrained Reinforcement Learning [132.7040981721302]
本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。
制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
論文 参考訳(メタデータ) (2024-02-16T16:35:18Z) - Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。
我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。
提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-14T21:54:31Z) - Convergence and sample complexity of natural policy gradient primal-dual
methods for constrained MDPs [24.582720609592464]
我々は、割引された最適レート問題を解くために、自然政策勾配法を用いる。
また、2つのサンプルベースNPG-PDアルゴリズムに対して収束と有限サンプル保証を提供する。
論文 参考訳(メタデータ) (2022-06-06T04:28:04Z) - Algorithm for Constrained Markov Decision Process with Linear
Convergence [55.41644538483948]
エージェントは、そのコストに対する複数の制約により、期待される累積割引報酬を最大化することを目的としている。
エントロピー正規化ポリシーとベイダの二重化という2つの要素を統合した新しい双対アプローチが提案されている。
提案手法は(線形速度で)大域的最適値に収束することが示されている。
論文 参考訳(メタデータ) (2022-06-03T16:26:38Z) - Policy-based Primal-Dual Methods for Convex Constrained Markov Decision
Processes [9.262157005505221]
本稿では, 目標を凹凸とし, 速度-作用分布の制約を凸凸とする改良された凸拘束決定(CMDP)を導入する。
本研究では,訪問分布に強い目的がある場合に,悲観的状態制約違反が達成可能であることを示す。
論文 参考訳(メタデータ) (2022-05-22T02:50:16Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳(メタデータ) (2021-10-20T02:57:21Z) - Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth
Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。
定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。
我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文 参考訳(メタデータ) (2021-06-30T18:32:46Z) - Two-Stage Stochastic Optimization via Primal-Dual Decomposition and Deep
Unrolling [86.85697555068168]
2段階のアルゴリズム最適化は、様々な工学や科学的応用において重要な役割を果たす。
特に長期変数と短期変数が制約の中で結合されている場合、アルゴリズムは効率的ではない。
PDD-SSCAが既存のソリューションよりも優れたパフォーマンスを達成できることを示します。
論文 参考訳(メタデータ) (2021-05-05T03:36:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。