論文の概要: Safe Reinforcement Learning using Data-Driven Predictive Control
- arxiv url: http://arxiv.org/abs/2211.11027v1
- Date: Sun, 20 Nov 2022 17:10:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 23:30:09.456655
- Title: Safe Reinforcement Learning using Data-Driven Predictive Control
- Title（参考訳）: データ駆動予測制御を用いた安全強化学習
- Authors: Mahmoud Selim, Amr Alanwar, M. Watheq El-Kharashi, Hazem M. Abbas,
Karl H. Johansson
- Abstract要約: 安全でない動作のフィルタとして機能するデータ駆動型安全層を提案する。
安全層は、提案されたアクションが安全でない場合にRLエージェントをペナルティ化し、最も安全なものに置き換える。
本手法は,ロボットナビゲーション問題において,最先端の安全RL法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.5459797813771499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) algorithms can achieve state-of-the-art
performance in decision-making and continuous control tasks. However, applying
RL algorithms on safety-critical systems still needs to be well justified due
to the exploration nature of many RL algorithms, especially when the model of
the robot and the environment are unknown. To address this challenge, we
propose a data-driven safety layer that acts as a filter for unsafe actions.
The safety layer uses a data-driven predictive controller to enforce safety
guarantees for RL policies during training and after deployment. The RL agent
proposes an action that is verified by computing the data-driven reachability
analysis. If there is an intersection between the reachable set of the robot
using the proposed action, we call the data-driven predictive controller to
find the closest safe action to the proposed unsafe action. The safety layer
penalizes the RL agent if the proposed action is unsafe and replaces it with
the closest safe one. In the simulation, we show that our method outperforms
state-of-the-art safe RL methods on the robotics navigation problem for a
Turtlebot 3 in Gazebo and a quadrotor in Unreal Engine 4 (UE4).
- Abstract（参考訳）: 強化学習(rl)アルゴリズムは意思決定と連続制御タスクにおいて最先端のパフォーマンスを達成することができる。
しかし、多くのRLアルゴリズムの探索性、特にロボットのモデルと環境が不明な場合には、安全クリティカルなシステムにRLアルゴリズムを適用することは十分に正当化する必要がある。
そこで本研究では,安全でない動作のフィルタとして機能するデータ駆動型安全層を提案する。
safety layerはデータ駆動予測コントローラを使用して、トレーニングとデプロイメント後のrlポリシの安全性保証を行う。
RLエージェントは、データ駆動型リーチビリティ解析の計算により検証された動作を提案する。
提案する動作を用いてロボットの到達可能なセットが交わる場合、我々はデータ駆動予測コントローラを呼び出し、提案された安全でない動作に最も近い安全なアクションを見つける。
安全層は、提案されたアクションが安全でない場合にRLエージェントをペナルティ化し、最も安全なものに置き換える。
シミュレーションでは,ガゼボのタートルボット3とunreal engine 4(ue4)のクワッドローターのロボットナビゲーション問題に対する,最先端の安全なrl手法よりも優れることを示す。
関連論文リスト
- Implicit Safe Set Algorithm for Provably Safe Reinforcement Learning [7.349727826230864]
DRLエージェントのセーフガードを合成するためのモデルフリー安全な制御アルゴリズムである暗黙のセーフセットアルゴリズムを提案する。
提案アルゴリズムは,ブラックボックスの動的関数を問合せするだけで,安全指標(バリア証明書)とその後の安全制御則を合成する。
提案アルゴリズムを最先端のSafety Gymベンチマークで検証し、95% pm 9%$ cumulative rewardを得た上で安全性違反をゼロにする。
論文 参考訳（メタデータ） (2024-05-04T20:59:06Z) - Guided Online Distillation: Promoting Safe Reinforcement Learning by
Offline Demonstration [75.51109230296568]
オフラインデータから専門家ポリシーを抽出してオンライン探索をガイドすることは、保存性の問題を軽減するための有望な解決策である、と我々は主張する。
オフラインからオンラインまでの安全なRLフレームワークであるGOLD(Guid Online Distillation)を提案する。
GOLDは、オフラインDTポリシーをオンラインセーフなRLトレーニングを通じて軽量なポリシーネットワークに蒸留し、オフラインDTポリシーとオンラインセーフなRLアルゴリズムの両方を上回っている。
論文 参考訳（メタデータ） (2023-09-18T00:22:59Z) - Reinforcement Learning for Safe Robot Control using Control Lyapunov
Barrier Functions [9.690491406456307]
強化学習(RL)は、ロボットの複雑な制御タスクを管理する際の優れた性能を示す。
本稿では、データのみに基づいて安全性と到達可能性を分析するために、制御型リアプノフバリア関数(CLBF)について検討する。
また、Lyapunov barrier actor-critic (LBAC) を提案し、データに基づく安全性と到達性条件の近似を満足するコントローラを探索した。
論文 参考訳（メタデータ） (2023-05-16T20:27:02Z) - A Multiplicative Value Function for Safe and Efficient Reinforcement
Learning [131.96501469927733]
本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。
安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。
安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
論文 参考訳（メタデータ） (2023-03-07T18:29:15Z) - Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。
このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。
本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
論文 参考訳（メタデータ） (2023-02-20T15:24:06Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳（メタデータ） (2022-12-14T03:11:25Z) - Safe and Efficient Reinforcement Learning Using
Disturbance-Observer-Based Control Barrier Functions [5.571154223075409]
本稿では、外乱オブザーバ(DOB)と制御バリア機能(CBF)を用いた安全かつ効率的な強化学習(RL)手法を提案する。
本手法はモデル学習を伴わず,DOBを用いて不確実性のポイントワイド値を正確に推定し,安全行動を生成するための頑健なCBF条件に組み込む。
提案手法は,CBFとガウス過程に基づくモデル学習を用いて,最先端の安全なRLアルゴリズムより優れていることを示す。
論文 参考訳（メタデータ） (2022-11-30T18:49:53Z) - Provable Safe Reinforcement Learning with Binary Feedback [62.257383728544006]
状態, アクションペアの安全性に対するバイナリフィードバックを提供するオフラインオラクルへのアクセスを与えられた場合, 証明可能な安全なRLの問題を考える。
我々は,その設定に対してブラックボックスPAC RLアルゴリズムに与えられた任意のMDP設定に適用可能な,新しいメタアルゴリズムSABREを提案する。
論文 参考訳（メタデータ） (2022-10-26T05:37:51Z) - SafeRL-Kit: Evaluating Efficient Reinforcement Learning Methods for Safe
Autonomous Driving [12.925039760573092]
我々はSafeRL-Kitをリリースし、自動運転タスクのための安全なRLメソッドをベンチマークする。
SafeRL-Kitには、セーフ・レイヤ、リカバリ・RL、オフ・ポリティ・ラグランジアン・メソッド、Fasible Actor-Criticなど、ゼロ制約違反タスクに特化した最新のアルゴリズムがいくつか含まれている。
我々は、SafeRL-Kitで上記のアルゴリズムの比較評価を行い、安全自動運転の有効性について光を当てた。
論文 参考訳（メタデータ） (2022-06-17T03:23:51Z) - Learning to be Safe: Deep RL with a Safety Critic [72.00568333130391]
安全なRLへの自然な第一のアプローチは、ポリシーの動作に関する制約を手動で指定することである。
我々は,タスクと環境の1つのセットで安全であることを学習し,その学習した直観を用いて将来の行動を制限することを提案する。
論文 参考訳（メタデータ） (2020-10-27T20:53:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。