論文の概要: A learning-based approach to stochastic optimal control under reach-avoid constraint

• arxiv url: http://arxiv.org/abs/2412.16561v1
• Date: Sat, 21 Dec 2024 10:07:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:56:09.253901
• Title: A learning-based approach to stochastic optimal control under reach-avoid constraint
• Title（参考訳）: リーチ・アビド制約下での確率的最適制御に対する学習に基づくアプローチ
• Authors: Tingting Ni, Maryam Kamgarpour,
• Abstract要約: 我々は,リーチアビド制約を受けるマルコフ系を最適に制御するためのモデルフリーアプローチを開発する。 適切な仮定の下では、政策パラメータが最適パラメータに収束し、システム軌道が到達不能な制約を高い確率で満たすことが保証される。
• 参考スコア（独自算出の注目度）: 7.036452261968767
• License:
• Abstract: We develop a model-free approach to optimally control stochastic, Markovian systems subject to a reach-avoid constraint. Specifically, the state trajectory must remain within a safe set while reaching a target set within a finite time horizon. Due to the time-dependent nature of these constraints, we show that, in general, the optimal policy for this constrained stochastic control problem is non-Markovian, which increases the computational complexity. To address this challenge, we apply the state-augmentation technique from arXiv:2402.19360, reformulating the problem as a constrained Markov decision process (CMDP) on an extended state space. This transformation allows us to search for a Markovian policy, avoiding the complexity of non-Markovian policies. To learn the optimal policy without a system model, and using only trajectory data, we develop a log-barrier policy gradient approach. We prove that under suitable assumptions, the policy parameters converge to the optimal parameters, while ensuring that the system trajectories satisfy the stochastic reach-avoid constraint with high probability.
• Abstract（参考訳）: リーチアビド制約を受ける確率的マルコフ系を最適に制御するためのモデルフリーアプローチを開発する。 具体的には、状態軌道は有限時間地平線内の目標集合に到達している間に安全な集合内に留まらなければならない。 これらの制約の時間依存性の性質から、一般に、この制約付き確率的制御問題に対する最適ポリシーは非マルコフ的であり、計算複雑性を増大させる。 この課題に対処するため、我々はarXiv:2402.19360から状態拡張手法を適用し、拡張状態空間上でマルコフ決定過程(CMDP)として問題を再構成する。 この変換により、非マルコフポリシーの複雑さを回避してマルコフポリシーを探索できる。 システムモデルなしで最適なポリシーを学習し、軌跡データのみを用いて、ログバリアポリシー勾配アプローチを開発する。 適切な仮定の下では、ポリシーパラメータは最適パラメータに収束し、システムの軌道が確率的リーチ・アビド制約を高い確率で満たすことを保証する。

関連論文リスト

• Landscape of Policy Optimization for Finite Horizon MDPs with General State and Action [10.219627570276689]
  我々は、一般的な状態と空間を持つマルコフ決定過程のクラスのためのフレームワークを開発する。 勾配法は非漸近条件で大域的最適ポリシーに収束することを示す。 その結果,多周期インベントリシステムにおける最初の複雑性が確立された。
  論文  参考訳（メタデータ） (2024-09-25T17:56:02Z)
• Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs [82.34567890576423]
  我々は,非漸近収束を伴う最適決定主義政策を求めるための決定主義的政策勾配原始双対法を開発した。 D-PGPDの一次-双対反復は、最適正則化原始-双対にサブ線形速度で収束することが証明された。 我々の知る限り、これは連続空間制約型MDPに対する決定論的ポリシー探索法を提案する最初の研究であると思われる。
  論文  参考訳（メタデータ） (2024-08-19T14:11:04Z)
• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Online Constraint Tightening in Stochastic Model Predictive Control: A Regression Approach [49.056933332667114]
  確率制約付き最適制御問題に対する解析解は存在しない。 制御中の制約強調パラメータをオンラインで学習するためのデータ駆動型アプローチを提案する。 提案手法は, 確率制約を厳密に満たす制約強調パラメータを導出する。
  論文  参考訳（メタデータ） (2023-10-04T16:22:02Z)
• Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
  最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。 このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-03T10:52:21Z)
• Policy Gradient for Rectangular Robust Markov Decision Processes [62.397882389472564]
  我々は,長方形ロバストなマルコフ決定過程(MDP)を効率的に解く政策ベース手法であるロバストなポリシー勾配(RPG)を導入する。 結果のRPGは、非ロバストな等価値と同じ時間のデータから推定することができる。
  論文  参考訳（メタデータ） (2023-01-31T12:40:50Z)
• Learning Stochastic Parametric Differentiable Predictive Control Policies [2.042924346801313]
  本稿では、ニューラルネットワークポリシーの教師なし学習のための、パラメトリック微分可能予測制御(SP-DPC)と呼ばれるスケーラブルな代替手法を提案する。 SP-DPCはパラメトリック制約最適制御問題に対する決定論的近似として定式化される。 閉ループ制約と確率満足度に関するSP-DPC法を用いて学習したポリシーに関する理論的確率的保証を提供する。
  論文  参考訳（メタデータ） (2022-03-02T22:46:32Z)
• Model-Free Reinforcement Learning for Optimal Control of MarkovDecision Processes Under Signal Temporal Logic Specifications [7.842869080999489]
  有限水平マルコフ決定過程に対する最適ポリシーを求めるためのモデルフリー強化学習アルゴリズムを提案する。 本稿では,不確実性および性能目標下での複雑なミッションにおけるロボット動作計画の文脈におけるアプローチの有効性について述べる。
  論文  参考訳（メタデータ） (2021-09-27T22:44:55Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• Policy Gradient Methods for the Noisy Linear Quadratic Regulator over a Finite Horizon [3.867363075280544]
  線形2次レギュレータ(LQR)問題における最適ポリシーを見つけるための強化学習法について検討する。 我々は、有限時間地平線と弱い仮定の下での状態ダイナミクスの設定に対する大域的線形収束を保証する。 基礎となるダイナミクスのモデルを仮定し、データに直接メソッドを適用する場合の結果を示す。
  論文  参考訳（メタデータ） (2020-11-20T09:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。