論文の概要: Safe Reinforcement Learning Using Black-Box Reachability Analysis

• arxiv url: http://arxiv.org/abs/2204.07417v1
• Date: Fri, 15 Apr 2022 10:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 12:49:27.708992
• Title: Safe Reinforcement Learning Using Black-Box Reachability Analysis
• Title（参考訳）: Black-Box Reachability 解析を用いた安全強化学習
• Authors: Mahmoud Selim, Amr Alanwar, Shreyas Kousik, Grace Gao, Marco Pavone, Karl H. Johansson
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、不確実な環境下でのロボットの動き計画と制御を高度に行うことができる。 広範な展開を正当化するためには、ロボットは性能を犠牲にすることなく安全上の制約を尊重しなければならない。 我々は3つの主要コンポーネントを持つブラックボックス到達可能性に基づく安全層(BRSL)を提案する。
• 参考スコア（独自算出の注目度）: 20.875010584486812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) is capable of sophisticated motion planning and control for robots in uncertain environments. However, state-of-the-art deep RL approaches typically lack safety guarantees, especially when the robot and environment models are unknown. To justify widespread deployment, robots must respect safety constraints without sacrificing performance. Thus, we propose a Black-box Reachability-based Safety Layer (BRSL) with three main components: (1) data-driven reachability analysis for a black-box robot model, (2) a trajectory rollout planner that predicts future actions and observations using an ensemble of neural networks trained online, and (3) a differentiable polytope collision check between the reachable set and obstacles that enables correcting unsafe actions. In simulation, BRSL outperforms other state-of-the-art safe RL methods on a Turtlebot 3, a quadrotor, and a trajectory-tracking point mass with an unsafe set adjacent to the area of highest reward.
• Abstract（参考訳）: 強化学習(rl)は、不確定な環境でロボットの高度な動作計画と制御を可能にする。 しかし、最先端の深層RLアプローチは、特にロボットや環境モデルが不明な場合に、安全保証を欠いている。 広範な展開を正当化するために、ロボットは性能を犠牲にすることなく安全性の制約を尊重しなければならない。 そこで,本研究では,(1)ブラックボックスロボットモデルのデータ駆動到達可能性解析,(2)オンライントレーニングされたニューラルネットワークのアンサンブルを用いた将来の行動と観察を予測する軌道ロールアウトプランナ,(3)到達可能セットと安全でない動作を補正可能な障害物との差別化可能なポリトープ衝突チェック,の3つの主成分からなるブラックボックス到達性ベースの安全層を提案する。 シミュレーションにおいて、brslは、タートルボット3、クワッドローター、及び最高報酬の領域に隣接した安全でないセットで軌道追跡ポイント質量において、他の最先端の安全rl法よりも優れる。

関連論文リスト

• ABNet: Attention BarrierNet for Safe and Scalable Robot Learning [58.4951884593569]
  バリアベースの手法は、安全なロボット学習における主要なアプローチの1つである。 本稿では,より大規模な基本安全モデルを段階的に構築するスケーラブルなAttention BarrierNet(ABNet)を提案する。 2次元ロボット障害物回避、安全なロボット操作、視覚に基づくエンドツーエンド自動運転におけるABNetの強みを実証する。
  論文  参考訳（メタデータ） (2024-06-18T19:37:44Z)
• Agile But Safe: Learning Collision-Free High-Speed Legged Locomotion [13.647294304606316]
  本稿では,四足歩行ロボットのための学習ベースの制御フレームワークであるAgile But Safe(ABS)を紹介する。 ABSには障害の中でアジャイルモータースキルを実行するためのアジャイルポリシと、障害を防止するためのリカバリポリシが含まれています。 トレーニングプロセスには、アジャイルポリシ、リーチアビドバリューネットワーク、リカバリポリシ、排他的表現ネットワークの学習が含まれる。
  論文  参考訳（メタデータ） (2024-01-31T03:58:28Z)
• Safe Reinforcement Learning in a Simulated Robotic Arm [0.0]
  強化学習(RL)エージェントは、最適なポリシーを学ぶために環境を探索する必要がある。 本稿では,Pandaロボットアームを用いたカスタマイズ環境を構築することにより,安全なRLアルゴリズムの適用性を向上させる。
  論文  参考訳（メタデータ） (2023-11-28T19:22:16Z)
• Reinforcement Learning for Safe Robot Control using Control Lyapunov Barrier Functions [9.690491406456307]
  強化学習(RL)は、ロボットの複雑な制御タスクを管理する際の優れた性能を示す。 本稿では、データのみに基づいて安全性と到達可能性を分析するために、制御型リアプノフバリア関数(CLBF)について検討する。 また、Lyapunov barrier actor-critic (LBAC) を提案し、データに基づく安全性と到達性条件の近似を満足するコントローラを探索した。
  論文  参考訳（メタデータ） (2023-05-16T20:27:02Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Safe Reinforcement Learning using Data-Driven Predictive Control [0.5459797813771499]
  安全でない動作のフィルタとして機能するデータ駆動型安全層を提案する。 安全層は、提案されたアクションが安全でない場合にRLエージェントをペナルティ化し、最も安全なものに置き換える。 本手法は,ロボットナビゲーション問題において,最先端の安全RL法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-20T17:10:40Z)
• SABER: Data-Driven Motion Planner for Autonomously Navigating Heterogeneous Robots [112.2491765424719]
  我々は、データ駆動型アプローチを用いて、異種ロボットチームをグローバルな目標に向けてナビゲートする、エンドツーエンドのオンラインモーションプランニングフレームワークを提案する。 モデル予測制御(SMPC)を用いて,ロボット力学を満たす制御入力を計算し,障害物回避時の不確実性を考慮した。 リカレントニューラルネットワークは、SMPC有限時間地平線解における将来の状態の不確かさを素早く推定するために用いられる。 ディープQ学習エージェントがハイレベルパスプランナーとして機能し、SMPCにロボットを望ましいグローバルな目標に向けて移動させる目標位置を提供する。
  論文  参考訳（メタデータ） (2021-08-03T02:56:21Z)
• Learning to be Safe: Deep RL with a Safety Critic [72.00568333130391]
  安全なRLへの自然な第一のアプローチは、ポリシーの動作に関する制約を手動で指定することである。 我々は,タスクと環境の1つのセットで安全であることを学習し,その学習した直観を用いて将来の行動を制限することを提案する。
  論文  参考訳（メタデータ） (2020-10-27T20:53:20Z)
• Risk-Sensitive Sequential Action Control with Multi-Modal Human Trajectory Forecasting for Safe Crowd-Robot Interaction [55.569050872780224]
  本稿では,リスクに敏感な最適制御に基づく安全な群集ロボットインタラクションのためのオンラインフレームワークを提案し,そのリスクをエントロピーリスク尺度でモデル化する。 私たちのモジュラーアプローチは、クラウドとロボットの相互作用を学習ベースの予測とモデルベースの制御に分離します。 シミュレーション研究と実世界の実験により、このフレームワークは、現場にいる50人以上の人間との衝突を避けながら、安全で効率的なナビゲーションを実現することができることが示された。
  論文  参考訳（メタデータ） (2020-09-12T02:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。