論文の概要: Safe Reinforcement Learning in Constrained Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2008.06626v1
• Date: Sat, 15 Aug 2020 02:20:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 20:54:56.346167
• Title: Safe Reinforcement Learning in Constrained Markov Decision Processes
• Title（参考訳）: マルコフ決定過程における安全強化学習
• Authors: Akifumi Wachi and Yanan Sui
• Abstract要約: 本稿では,マルコフ決定過程を未知の安全制約下で探索・最適化するアルゴリズムSNO-MDPを提案する。 我々は、安全制約の満足度と累積報酬のほぼ最適性の両方を理論的に保証する。
• 参考スコア（独自算出の注目度）: 20.175139766171277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safe reinforcement learning has been a promising approach for optimizing the policy of an agent that operates in safety-critical applications. In this paper, we propose an algorithm, SNO-MDP, that explores and optimizes Markov decision processes under unknown safety constraints. Specifically, we take a stepwise approach for optimizing safety and cumulative reward. In our method, the agent first learns safety constraints by expanding the safe region, and then optimizes the cumulative reward in the certified safe region. We provide theoretical guarantees on both the satisfaction of the safety constraint and the near-optimality of the cumulative reward under proper regularity assumptions. In our experiments, we demonstrate the effectiveness of SNO-MDP through two experiments: one uses a synthetic data in a new, openly-available environment named GP-SAFETY-GYM, and the other simulates Mars surface exploration by using real observation data.
• Abstract（参考訳）: 安全強化学習は、安全クリティカルなアプリケーションで運用するエージェントのポリシーを最適化するための有望なアプローチである。 本論文では,マルコフ決定過程を未知の安全制約下で探索・最適化するアルゴリズムSNO-MDPを提案する。 具体的には、安全と累積報酬を最適化するための段階的なアプローチを取ります。 本手法では,まず安全領域を拡大して安全制約を学習し,認証された安全領域における累積報酬を最適化する。 安全制約の満足度と累積報酬のほぼ最適性の両方を適切な正規性仮定の下で理論的に保証する。 実験では,GP-SAFETY-GYMという新しい環境において合成データを用いて,実観測データを用いて火星表面探査をシミュレーションし,SNO-MDPの有効性を実証した。

関連論文リスト

• Balance Reward and Safety Optimization for Safe Reinforcement Learning: A Perspective of Gradient Manipulation [26.244121960815907]
  探索中の報酬と安全の間のトレードオフを管理することは、大きな課題である。 本研究では,勾配操作の理論を活用することによって,この矛盾する関係に対処することを目的とする。 実験の結果,提案アルゴリズムは報酬のバランスと安全性の最適化の観点から,最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-02T19:07:14Z)
• SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization [1.3597551064547502]
  本研究では,新しい安全強化学習アルゴリズム,セーフティ・クリティカル・ポリシー・オプティマイゼーションを導入する。 本研究では,安全制約に違反して得られる報酬を無効化する機構である安全評論家を定義した。 理論的解析により,提案アルゴリズムは安全制約への付着と報酬の最大化との間のトレードオフを自動的にバランスできることが示された。
  論文  参考訳（メタデータ） (2023-11-01T22:12:50Z)
• Safe Exploration in Reinforcement Learning: A Generalized Formulation and Algorithms [8.789204441461678]
  本稿では,安全な探査のためのメタアルゴリズムであるMASEの形で,安全な探査(GSE)問題の解を提案する。 提案アルゴリズムは,グリッドワールドおよびセーフティガイムベンチマークにおける最先端アルゴリズムよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-10-05T00:47:09Z)
• Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation [3.5884936187733394]
  我々は,画素観測による安全強化学習の課題に対処する。 制約付き、部分的に観測可能なマルコフ決定プロセスフレームワークで問題を定式化する。 我々は、潜伏アクター批判(SLAC)アプローチを用いて、新しい安全評論家を採用する。
  論文  参考訳（メタデータ） (2022-10-02T19:55:42Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Constrained Policy Optimization via Bayesian World Models [79.0077602277004]
  LAMBDAは、マルコフ決定プロセスを通じてモデル化された安全クリティカルタスクにおけるポリシー最適化のためのモデルに基づくアプローチである。 LAMBDA のSafety-Gymベンチマークスイートにおける技術性能について,サンプル効率と制約違反の観点から示す。
  論文  参考訳（メタデータ） (2022-01-24T17:02:22Z)
• Safe Policy Optimization with Local Generalized Linear Function Approximations [17.84511819022308]
  既存の安全探査法は、規則性の前提で安全を保証した。 本研究では,センサによって得られる局所的特徴と環境報酬・安全との関係を学習しながら,エージェントのポリシーを最適化する新しいアルゴリズムであるSPO-LFを提案する。 提案アルゴリズムは,1) サンプルの複雑さと計算コストの点で効率が良く,2) 理論的保証のある従来の安全RL法よりも大規模な問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-09T00:47:50Z)
• Provably Safe PAC-MDP Exploration Using Analogies [87.41775218021044]
  安全クリティカルドメインに強化学習を適用する上での課題は、探索と安全性のバランスをとる方法を理解することだ。 我々は,未知のダイナミックスを持つMDPにおいて,確実に安全な探索を行うアルゴリズムであるAnalogous Safe-State Exploration (ASE)を提案する。 提案手法は, PAC-MDP 感覚の準最適政策を安全に学習するために, 状態-作用対間の類似性を利用する。
  論文  参考訳（メタデータ） (2020-07-07T15:50:50Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)
• Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems [81.7983463275447]
  学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。 本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:57:43Z)
• Cautious Reinforcement Learning with Logical Constraints [78.96597639789279]
  適応型安全なパッドディングは、学習プロセス中の安全性を確保しつつ、RL(Reinforcement Learning)に最適な制御ポリシーの合成を強制する。 理論的な保証は、合成されたポリシーの最適性と学習アルゴリズムの収束について利用できる。
  論文  参考訳（メタデータ） (2020-02-26T00:01:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。