論文の概要: Learning to Recover for Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2309.11907v1
• Date: Thu, 21 Sep 2023 09:17:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 16:12:52.517268
• Title: Learning to Recover for Safe Reinforcement Learning
• Title（参考訳）: 安全な強化学習のための学習
• Authors: Haoyu Wang, Xin Yuan, Qinqing Ren
• Abstract要約: 本稿では,安全な強化学習のための3段階アーキテクチャ,すなわちTU-Recovery Architectureを提案する。 安全評論家と回復政策は、タスクトレーニングの前に学習され、タスクトレーニングの安全性を確保するために安全制御装置を形成する。
• 参考スコア（独自算出の注目度）: 11.891438526371495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety controllers is widely used to achieve safe reinforcement learning. Most methods that apply a safety controller are using handcrafted safety constraints to construct the safety controller. However, when the environment dynamics are sophisticated, handcrafted safety constraints become unavailable. Therefore, it worth to research on constructing safety controllers by learning algorithms. We propose a three-stage architecture for safe reinforcement learning, namely TU-Recovery Architecture. A safety critic and a recovery policy is learned before task training. They form a safety controller to ensure safety in task training. Then a phenomenon induced by disagreement between task policy and recovery policy, called adversarial phenomenon, which reduces learning efficiency and model performance, is described. Auxiliary reward is proposed to mitigate adversarial phenomenon, while help the task policy to learn to recover from high-risk states. A series of experiments are conducted in a robot navigation environment. Experiments demonstrate that TU-Recovery outperforms unconstrained counterpart in both reward gaining and constraint violations during task training, and auxiliary reward further improve TU-Recovery in reward-to-cost ratio by significantly reduce constraint violations.
• Abstract（参考訳）: 安全制御は安全強化学習を達成するために広く使われている。 安全コントローラを適用するほとんどの方法は、手作りの安全制約を使用して安全コントローラを構築する。 しかし、環境力学が洗練されると、手作りの安全制約は利用できなくなる。 したがって、アルゴリズムの学習による安全制御装置の構築に関する研究に価値がある。 安全強化学習のための3段階アーキテクチャ,すなわちtu-recoveryアーキテクチャを提案する。 安全評論家とリカバリポリシーは、タスクトレーニング前に学習される。 彼らはタスクトレーニングにおいて安全を確保するために安全制御装置を形成する。 次に、学習効率とモデル性能を低下させる逆境現象と呼ばれるタスクポリシーとリカバリポリシーの不一致によって引き起こされる現象について述べる。 副次的な報酬は、敵の現象を緩和し、高いリスク状態から回復するためのタスクポリシーを支援する。 ロボットナビゲーション環境では一連の実験が行われている。 実験により、TU-Recoveryは、タスクトレーニング中の報酬獲得と制約違反の両方において、制約なしよりも優れており、補助報酬は、制約違反を著しく低減し、報酬対コスト比においてTU-Recoveryをさらに改善することを示した。

関連論文リスト

• Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning [57.84059344739159]
  シールドディング」は、強化学習(RL)の安全性を強制する一般的な手法である 安全と遮蔽構造に対処する新しい許容性に基づく枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T18:00:21Z)
• Searching for Optimal Runtime Assurance via Reachability and Reinforcement Learning [2.422636931175853]
  あるプラントのランタイム保証システム(RTA)は、バックアップコントローラで安全性を確保しながら、信頼できないまたは実験的なコントローラの運動を可能にする。 既存のRTA設計戦略は、過度に保守的であることで知られており、原則として、安全違反につながる可能性がある。 本稿では、最適RTA設計問題を定式化し、それを解決するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-06T14:45:57Z)
• Safe Reinforcement Learning with Dead-Ends Avoidance and Recovery [13.333197887318168]
  安全は、現実的な環境課題に強化学習を適用する上で大きな課題の1つである。 安全かつ安全でない状態を識別する境界を構築する手法を提案する。 我々の手法は、最先端のアルゴリズムよりも安全性違反が少ないタスク性能を持つ。
  論文  参考訳（メタデータ） (2023-06-24T12:02:50Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Barrier Certified Safety Learning Control: When Sum-of-Square Programming Meets Reinforcement Learning [0.0]
  本研究は、強化学習よりも制御障壁関数を採用し、安全性を完全に維持するための補償アルゴリズムを提案する。 2次プログラミングに基づく強化学習法と比較して、我々の2次プログラミングに基づく強化学習は、その優位性を示している。
  論文  参考訳（メタデータ） (2022-06-16T04:38:50Z)
• SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition [59.94644674087599]
  安全制約下での複雑な制御タスクにおけるポリシー学習を高速化するアルゴリズムであるSAFEty skill pRiors (SAFER)を提案する。 オフラインデータセットでの原則的なトレーニングを通じて、SAFERは安全なプリミティブスキルの抽出を学ぶ。 推論段階では、SAFERで訓練されたポリシーは、安全なスキルを成功のポリシーに組み込むことを学ぶ。
  論文  参考訳（メタデータ） (2022-02-10T05:43:41Z)
• Safe Model-Based Reinforcement Learning Using Robust Control Barrier Functions [43.713259595810854]
  安全に対処する一般的なアプローチとして、安全層が追加され、RLアクションを安全な一連のアクションに投影する。 本稿では,モデルベースRLフレームワークにおけるロバスト制御バリア機能層としての安全性について述べる。
  論文  参考訳（メタデータ） (2021-10-11T17:00:45Z)
• Learning to be Safe: Deep RL with a Safety Critic [72.00568333130391]
  安全なRLへの自然な第一のアプローチは、ポリシーの動作に関する制約を手動で指定することである。 我々は,タスクと環境の1つのセットで安全であることを学習し,その学習した直観を用いて将来の行動を制限することを提案する。
  論文  参考訳（メタデータ） (2020-10-27T20:53:20Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。