論文の概要: Safe Policy Improvement in Constrained Markov Decision Processes
- arxiv url: http://arxiv.org/abs/2210.11259v1
- Date: Thu, 20 Oct 2022 13:29:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 14:16:15.167289
- Title: Safe Policy Improvement in Constrained Markov Decision Processes
- Title（参考訳）: 制約マルコフ決定過程における安全政策の改善
- Authors: Luigi Berducci, Radu Grosu
- Abstract要約: 本稿では,形式的要件の集合からの報酬形成と安全なポリシー更新という2つの課題を解くことで,合成問題の解決法を提案する。
前者に対しては,タスク仕様に準拠したスカラー報酬信号を定義する自動報酬生成手法を提案する。
後者では,高信頼度保証を伴う安全な方法でポリシーが改善されることを保証するアルゴリズムを導入する。
- 参考スコア（独自算出の注目度）: 10.518340300810504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The automatic synthesis of a policy through reinforcement learning (RL) from
a given set of formal requirements depends on the construction of a reward
signal and consists of the iterative application of many policy-improvement
steps. The synthesis algorithm has to balance target, safety, and comfort
requirements in a single objective and to guarantee that the policy improvement
does not increase the number of safety-requirements violations, especially for
safety-critical applications. In this work, we present a solution to the
synthesis problem by solving its two main challenges: reward-shaping from a set
of formal requirements and safe policy update. For the former, we propose an
automatic reward-shaping procedure, defining a scalar reward signal compliant
with the task specification. For the latter, we introduce an algorithm ensuring
that the policy is improved in a safe fashion with high-confidence guarantees.
We also discuss the adoption of a model-based RL algorithm to efficiently use
the collected data and train a model-free agent on the predicted trajectories,
where the safety violation does not have the same impact as in the real world.
Finally, we demonstrate in standard control benchmarks that the resulting
learning procedure is effective and robust even under heavy perturbations of
the hyperparameters.
- Abstract（参考訳）: 与えられた形式的要件の集合から強化学習(RL)による政策の自動合成は、報酬信号の構築に依存し、多くの政策改善ステップの反復的な適用から構成される。
合成アルゴリズムは, 目標, 安全, 快適な要件を単一目的にバランスさせ, 安全要求違反の数, 特に安全クリティカルなアプリケーションにおいて, 政策改善が増加しないことを保証する。
そこで本研究では,形式的要件と安全ポリシー更新の2つの課題を解決することで,合成問題に対する解決策を提案する。
前者に対しては,タスク仕様に準拠したスカラー報酬信号を定義する自動報酬整形手順を提案する。
後者では,高信頼度保証を伴う安全な方法でポリシーが改善されることを保証するアルゴリズムを導入する。
また、収集したデータを効率的に利用し、予測された軌道上でモデルフリーエージェントを訓練するためのモデルベースRLアルゴリズムの導入についても論じる。
最後に,ハイパーパラメータの過度な摂動下においても,学習手順が効果的で堅牢であることを示す。
関連論文リスト
- Concurrent Learning of Policy and Unknown Safety Constraints in Reinforcement Learning [4.14360329494344]
強化学習(Reinforcement Learning, RL)は、過去数十年にわたって、幅広い領域で意思決定に革命をもたらした。
しかし、現実のシナリオにRLポリシーをデプロイすることは、安全性を確保する上で重要な課題である。
従来の安全RLアプローチは、事前に定義された安全制約を政策学習プロセスに組み込むことに重点を置いてきた。
本稿では,安全なRL制御ポリシを同時に学習し,その環境の未知の安全制約パラメータを同定する手法を提案する。
論文 参考訳（メタデータ） (2024-02-24T20:01:15Z) - SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization [1.3597551064547502]
本研究では,新しい安全強化学習アルゴリズム,セーフティ・クリティカル・ポリシー・オプティマイゼーションを導入する。
本研究では,安全制約に違反して得られる報酬を無効化する機構である安全評論家を定義した。
理論的解析により,提案アルゴリズムは安全制約への付着と報酬の最大化との間のトレードオフを自動的にバランスできることが示された。
論文 参考訳（メタデータ） (2023-11-01T22:12:50Z) - Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。
このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
論文 参考訳（メタデータ） (2023-10-03T10:52:21Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Model-based Safe Deep Reinforcement Learning via a Constrained Proximal
Policy Optimization Algorithm [4.128216503196621]
オンライン方式で環境の遷移動態を学習する,オンライン型モデルに基づくセーフディープRLアルゴリズムを提案する。
我々は,本アルゴリズムがより標本効率が高く,制約付きモデルフリーアプローチと比較して累積的ハザード違反が低いことを示す。
論文 参考訳（メタデータ） (2022-10-14T06:53:02Z) - Log Barriers for Safe Black-box Optimization with Application to Safe
Reinforcement Learning [72.97229770329214]
本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。
LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。
安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-07-21T11:14:47Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳（メタデータ） (2022-07-04T11:43:23Z) - Constrained Policy Optimization via Bayesian World Models [79.0077602277004]
LAMBDAは、マルコフ決定プロセスを通じてモデル化された安全クリティカルタスクにおけるポリシー最適化のためのモデルに基づくアプローチである。
LAMBDA のSafety-Gymベンチマークスイートにおける技術性能について,サンプル効率と制約違反の観点から示す。
論文 参考訳（メタデータ） (2022-01-24T17:02:22Z) - Verifiably Safe Exploration for End-to-End Reinforcement Learning [17.401496872603943]
本稿では,視覚的入力によるエンドツーエンドポリシーの形式的安全性制約の実施に向けた最初のアプローチを提案する。
厳密な制約の存在下で安全に探索することの難しさを強調する新しいベンチマークで評価されている。
論文 参考訳（メタデータ） (2020-07-02T16:12:20Z) - Cautious Reinforcement Learning with Logical Constraints [78.96597639789279]
適応型安全なパッドディングは、学習プロセス中の安全性を確保しつつ、RL(Reinforcement Learning)に最適な制御ポリシーの合成を強制する。
理論的な保証は、合成されたポリシーの最適性と学習アルゴリズムの収束について利用できる。
論文 参考訳（メタデータ） (2020-02-26T00:01:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。