論文の概要: Policy Gradients for Probabilistic Constrained Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2210.00596v2
- Date: Tue, 18 Apr 2023 20:54:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 17:48:19.593177
- Title: Policy Gradients for Probabilistic Constrained Reinforcement Learning
- Title(参考訳): 確率的制約付き強化学習のための政策勾配
- Authors: Weiqin Chen, Dharmashankar Subramanian and Santiago Paternain
- Abstract要約: 本稿では、強化学習(RL)における安全な政策学習の問題について考察する。
我々は,システムの状態を高い確率で安全に維持する政策を設計することを目指している。
- 参考スコア(独自算出の注目度): 13.441235221641717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper considers the problem of learning safe policies in the context of
reinforcement learning (RL). In particular, we consider the notion of
probabilistic safety. This is, we aim to design policies that maintain the
state of the system in a safe set with high probability. This notion differs
from cumulative constraints often considered in the literature. The challenge
of working with probabilistic safety is the lack of expressions for their
gradients. Indeed, policy optimization algorithms rely on gradients of the
objective function and the constraints. To the best of our knowledge, this work
is the first one providing such explicit gradient expressions for probabilistic
constraints. It is worth noting that the gradient of this family of constraints
can be applied to various policy-based algorithms. We demonstrate empirically
that it is possible to handle probabilistic constraints in a continuous
navigation problem.
- Abstract(参考訳): 本稿では、強化学習(RL)における安全な政策学習の問題について考察する。
特に,確率論的安全性の概念を考察する。
これは,システムの状態を高い確率で安全に維持する政策を設計することを目的としている。
この概念は、文献でしばしば考慮される累積的制約とは異なっている。
確率的安全性に取り組む上での課題は、勾配に対する表現の欠如である。
実際、ポリシー最適化アルゴリズムは、目的関数と制約の勾配に依存する。
私たちの知る限りでは,この作業は,確率的制約に対して,そのような明示的な勾配表現を提供する最初の作業です。
この制約群の勾配は、様々なポリシーベースのアルゴリズムに適用できる点に注意が必要である。
我々は,連続航法問題において確率的制約を処理できることを実証的に証明する。
関連論文リスト
- Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。
このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
論文 参考訳(メタデータ) (2023-10-03T10:52:21Z) - Probabilistic Constraint for Safety-Critical Reinforcement Learning [13.502008069967552]
確率的制約付き強化学習(RL)における安全な政策学習の課題について考察する。
SPG-Actor-Critic は SPG-REINFORCE よりも低い分散をもたらす。
両SPGを利用して安全なポリシを学習できるSafe Primal-Dualアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-29T19:41:56Z) - Policy Gradient for Rectangular Robust Markov Decision Processes [62.397882389472564]
我々は,長方形ロバストなマルコフ決定過程(MDP)を効率的に解く政策ベース手法であるロバストなポリシー勾配(RPG)を導入する。
結果のRPGは、非ロバストな等価値と同じ時間のデータから推定することができる。
論文 参考訳(メタデータ) (2023-01-31T12:40:50Z) - Safe Exploration for Constrained Reinforcement Learning with Provable
Guarantees [2.379828460137829]
そこで我々は,OPSRL(Optimistic-Pessimistic Safe Reinforcement Learning)アルゴリズムと呼ぶモデルベースの安全なRLアルゴリズムを提案する。
学習中の安全性制約に違反することなく, $tildemathcalO(S2sqrtA H7K/ (barC - barC_b)$ cumulative regretを達成できることを示す。
論文 参考訳(メタデータ) (2021-12-01T23:21:48Z) - Constrained Policy Gradient Method for Safe and Fast Reinforcement
Learning: a Neural Tangent Kernel Based Approach [6.316693022958221]
本稿では,安全な学習のための制約付きポリシー勾配アルゴリズムを提案する。
安全な学習のための制約を次の手順で導入する。
制約学習の効率は、カルトポールとルナーランダーのオープンAI環境において、浅い広いReLUネットワークで実証された。
論文 参考訳(メタデータ) (2021-07-19T20:25:15Z) - Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds
Globally Optimal Policy [95.98698822755227]
本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。
本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-28T05:02:26Z) - Policy Gradient for Continuing Tasks in Non-stationary Markov Decision
Processes [112.38662246621969]
強化学習は、マルコフ決定プロセスにおいて期待される累積報酬を最大化するポリシーを見つけることの問題を考える。
我々は、ポリシーを更新するために上昇方向として使用する値関数の偏りのないナビゲーション勾配を計算する。
ポリシー勾配型アルゴリズムの大きな欠点は、定常性の仮定が課せられない限り、それらがエピソジックなタスクに限定されていることである。
論文 参考訳(メタデータ) (2020-10-16T15:15:42Z) - Chance Constrained Policy Optimization for Process Control and
Optimization [1.4908563154226955]
1) プラントモデルミスマッチ, 2) プロセス障害, 3) 安全な運転の制約が, 化学プロセスの最適化と制御に影響を及ぼす。
本研究では,確率の高い連立確率制約の満足度を保証できる確率制約付きポリシ最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-30T14:20:35Z) - Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic
Policies [80.42316902296832]
本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。
この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。
異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
論文 参考訳(メタデータ) (2020-06-06T15:52:05Z) - Cautious Reinforcement Learning with Logical Constraints [78.96597639789279]
適応型安全なパッドディングは、学習プロセス中の安全性を確保しつつ、RL(Reinforcement Learning)に最適な制御ポリシーの合成を強制する。
理論的な保証は、合成されたポリシーの最適性と学習アルゴリズムの収束について利用できる。
論文 参考訳(メタデータ) (2020-02-26T00:01:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。