論文の概要: Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints

• arxiv url: http://arxiv.org/abs/2405.03005v1
• Date: Sun, 5 May 2024 17:27:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 15:33:57.849667
• Title: Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints
• Title（参考訳）: 非マルコフ的安全制約を学習した安全強化学習
• Authors: Siow Meng Low, Akshat Kumar,
• Abstract要約: 我々は、安全に関する部分的状態行動軌跡の貢献を評価するために、信用割当を行う安全モデルの設計を行う。 学習された安全モデルを用いて安全なポリシーを最適化する有効なアルゴリズムを導出する。 安全報酬と安全コンプライアンスのトレードオフ係数を動的に適用する手法を考案する。
• 参考スコア（独自算出の注目度）: 15.904640266226023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In safe Reinforcement Learning (RL), safety cost is typically defined as a function dependent on the immediate state and actions. In practice, safety constraints can often be non-Markovian due to the insufficient fidelity of state representation, and safety cost may not be known. We therefore address a general setting where safety labels (e.g., safe or unsafe) are associated with state-action trajectories. Our key contributions are: first, we design a safety model that specifically performs credit assignment to assess contributions of partial state-action trajectories on safety. This safety model is trained using a labeled safety dataset. Second, using RL-as-inference strategy we derive an effective algorithm for optimizing a safe policy using the learned safety model. Finally, we devise a method to dynamically adapt the tradeoff coefficient between reward maximization and safety compliance. We rewrite the constrained optimization problem into its dual problem and derive a gradient-based method to dynamically adjust the tradeoff coefficient during training. Our empirical results demonstrate that this approach is highly scalable and able to satisfy sophisticated non-Markovian safety constraints.
• Abstract（参考訳）: 安全強化学習(RL)では、安全コストは即時状態と行動に依存する関数として定義される。 実際には、国家表現の不完全性のため、安全制約はしばしば非マルコフ的であり、安全コストは知られていない。 したがって、安全ラベル(例えば、安全または安全でない)が状態行動軌跡と関連付けられているような一般的な設定に対処する。 まず、安全に関する部分的状態行動軌跡の貢献を評価するために、クレジット割当を特別に行う安全モデルを設計する。 この安全モデルはラベル付き安全データセットを使用して訓練される。 第二に、RL-as-inference戦略を用いて、学習された安全モデルを用いて安全なポリシーを最適化する効果的なアルゴリズムを導出する。 最後に,報酬の最大化と安全コンプライアンスのトレードオフ係数を動的に適用する手法を提案する。 制約付き最適化問題を双対問題に書き換え、トレーニング中のトレードオフ係数を動的に調整する勾配法を導出する。 我々の経験的結果は、このアプローチが高度にスケーラブルであり、洗練された非マルコフ的安全性制約を満たすことができることを示している。

関連論文リスト

• Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning [57.84059344739159]
  シールドディング」は、強化学習(RL)の安全性を強制する一般的な手法である 安全と遮蔽構造に対処する新しい許容性に基づく枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T18:00:21Z)
• Safe Reinforcement Learning with Dead-Ends Avoidance and Recovery [13.333197887318168]
  安全は、現実的な環境課題に強化学習を適用する上で大きな課題の1つである。 安全かつ安全でない状態を識別する境界を構築する手法を提案する。 我々の手法は、最先端のアルゴリズムよりも安全性違反が少ないタスク性能を持つ。
  論文  参考訳（メタデータ） (2023-06-24T12:02:50Z)
• Safe MDP Planning by Learning Temporal Patterns of Undesirable Trajectories and Averting Negative Side Effects [27.41101006357176]
  安全なMDP計画では、現在の状態と行動に基づくコスト関数が安全面を特定するためにしばしば使用される。 不完全なモデルに基づく操作は、しばしば意図しない負の副作用(NSE)を生じさせる
  論文  参考訳（メタデータ） (2023-04-06T14:03:24Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation [3.5884936187733394]
  我々は,画素観測による安全強化学習の課題に対処する。 制約付き、部分的に観測可能なマルコフ決定プロセスフレームワークで問題を定式化する。 我々は、潜伏アクター批判(SLAC)アプローチを用いて、新しい安全評論家を採用する。
  論文  参考訳（メタデータ） (2022-10-02T19:55:42Z)
• Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments [84.3830478851369]
  本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。 本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-29T20:49:25Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• Enhancing Safe Exploration Using Safety State Augmentation [71.00929878212382]
  モデルフリー強化学習における安全な探索の課題に取り組む。 トレーニング中に安全予算をスケジューリングするためのポリシーを導出します。 Simmer はトレーニングを安定させ,安全RL の性能を平均的制約で向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-06-06T15:23:07Z)
• Fail-Safe Adversarial Generative Imitation Learning [9.594432031144716]
  本稿では, 安全な生成連続ポリシー, エンドツーエンドの生成逆トレーニング, 最悪の場合の安全性保証を, クローズドフォームの確率密度/勾配で実現する安全層を提案する。 安全層は、すべてのアクションを安全なアクションの集合にマッピングし、変量式と密度の測定値の加算率を使用する。 実世界のドライバーのインタラクションデータに関する実験では,提案手法のトラクタビリティ,安全性,模倣性能を実証的に実証した。
  論文  参考訳（メタデータ） (2022-03-03T13:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。