論文の概要: Reinforcement Learning for Safe Robot Control using Control Lyapunov Barrier Functions

• arxiv url: http://arxiv.org/abs/2305.09793v1
• Date: Tue, 16 May 2023 20:27:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 18:31:52.432621
• Title: Reinforcement Learning for Safe Robot Control using Control Lyapunov Barrier Functions
• Title（参考訳）: 制御リアプノフバリア関数を用いた安全ロボット制御のための強化学習
• Authors: Desong Du, Shaohang Han, Naiming Qi, Haitham Bou Ammar, Jun Wang and Wei Pan
• Abstract要約: 強化学習(RL)は、ロボットの複雑な制御タスクを管理する際の優れた性能を示す。 本稿では、データのみに基づいて安全性と到達可能性を分析するために、制御型リアプノフバリア関数(CLBF)について検討する。 また、Lyapunov barrier actor-critic (LBAC) を提案し、データに基づく安全性と到達性条件の近似を満足するコントローラを探索した。
• 参考スコア（独自算出の注目度）: 9.690491406456307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) exhibits impressive performance when managing complicated control tasks for robots. However, its wide application to physical robots is limited by the absence of strong safety guarantees. To overcome this challenge, this paper explores the control Lyapunov barrier function (CLBF) to analyze the safety and reachability solely based on data without explicitly employing a dynamic model. We also proposed the Lyapunov barrier actor-critic (LBAC), a model-free RL algorithm, to search for a controller that satisfies the data-based approximation of the safety and reachability conditions. The proposed approach is demonstrated through simulation and real-world robot control experiments, i.e., a 2D quadrotor navigation task. The experimental findings reveal this approach's effectiveness in reachability and safety, surpassing other model-free RL methods.
• Abstract（参考訳）: 強化学習(RL)は、ロボットの複雑な制御タスクを管理する際の優れた性能を示す。 しかし、物理的なロボットへの幅広い適用は、強力な安全性保証がないことによって制限されている。 この課題を克服するため,本研究では動的モデルを用いずにデータのみに基づいて安全性と到達性を分析するための制御リアプノフ障壁関数(clbf)について検討する。 また、モデルのないRLアルゴリズムであるリアプノフバリアアクター批判(LBAC)を提案し、データに基づく安全性と到達性条件の近似を満足するコントローラを探索した。 提案手法は,シミュレーションと実世界のロボット制御実験,すなわち2次元クアドロターナビゲーションタスクを用いて実証された。 実験により, 他のモデルレスRL法を超越した, 到達性と安全性に対するこのアプローチの有効性が示された。

関連論文リスト

• A novel agent with formal goal-reaching guarantees: an experimental study with a mobile robot [0.0]
  強化学習 (Reinforcement Learning, RL) は, ロボット工学における多くの課題に対して有効かつ便利であることが示されている。 この研究は、Crytic As Lyapunov Function(CALF)と呼ばれる新しい安全なモデルフリーRLエージェントを提示する。
  論文  参考訳（メタデータ） (2024-09-23T10:04:28Z)
• ABNet: Attention BarrierNet for Safe and Scalable Robot Learning [58.4951884593569]
  バリアベースの手法は、安全なロボット学習における主要なアプローチの1つである。 本稿では,より大規模な基本安全モデルを段階的に構築するスケーラブルなAttention BarrierNet(ABNet)を提案する。 2次元ロボット障害物回避、安全なロボット操作、視覚に基づくエンドツーエンド自動運転におけるABNetの強みを実証する。
  論文  参考訳（メタデータ） (2024-06-18T19:37:44Z)
• Sampling-based Safe Reinforcement Learning for Nonlinear Dynamical Systems [15.863561935347692]
  非線形力学系の制御のための安全かつ収束性のある強化学習アルゴリズムを開発した。 制御とRLの交差点における最近の進歩は、ハードセーフティ制約を強制するための2段階の安全フィルタアプローチに従っている。 我々は,古典的な収束保証を享受するRLコントローラを学習する,一段階のサンプリングに基づくハード制約満足度へのアプローチを開発する。
  論文  参考訳（メタデータ） (2024-03-06T19:39:20Z)
• Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks [0.24578723416255746]
  ロボット工学では、現代の戦略は学習に基づくもので、複雑なブラックボックスの性質と解釈可能性の欠如が特徴である。 本稿では, 深部強化学習(DRL)に基づく衝突のない軌道プランナと, 自動調整型低レベル制御戦略を統合することを提案する。
  論文  参考訳（メタデータ） (2024-02-04T15:54:03Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Sample-efficient Safe Learning for Online Nonlinear Control with Control Barrier Functions [35.9713619595494]
  強化学習と連続非線形制御は、複雑なシーケンシャルな意思決定タスクの複数の領域にうまく展開されている。 学習過程の探索特性とモデル不確実性の存在を考えると、それらを安全クリティカルな制御タスクに適用することは困難である。 本稿では,オンライン制御タスクを対象とした,効率のよいエピソード型安全な学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-29T00:54:35Z)
• Constrained Reinforcement Learning for Robotics via Scenario-Based Programming [64.07167316957533]
  DRLをベースとしたエージェントの性能を最適化し,その動作を保証することが重要である。 本稿では,ドメイン知識を制約付きDRLトレーニングループに組み込む新しい手法を提案する。 我々の実験は、専門家の知識を活用するために我々のアプローチを用いることで、エージェントの安全性と性能が劇的に向上することを示した。
  論文  参考訳（メタデータ） (2022-06-20T07:19:38Z)
• Safe-Critical Modular Deep Reinforcement Learning with Temporal Logic through Gaussian Processes and Control Barrier Functions [3.5897534810405403]
  強化学習(Reinforcement Learning, RL)は,現実のアプリケーションに対して限られた成功を収める,有望なアプローチである。 本稿では,複数の側面からなる学習型制御フレームワークを提案する。 ECBFをベースとしたモジュラーディープRLアルゴリズムは,ほぼ完全な成功率を達成し,高い確率で安全性を保護することを示す。
  論文  参考訳（メタデータ） (2021-09-07T00:51:12Z)
• Reinforcement Learning for Safety-Critical Control under Model Uncertainty, using Control Lyapunov Functions and Control Barrier Functions [96.63967125746747]
  強化学習フレームワークは、CBFおよびCLF制約に存在するモデル不確実性を学ぶ。 RL-CBF-CLF-QPは、安全制約におけるモデル不確実性の問題に対処する。
  論文  参考訳（メタデータ） (2020-04-16T10:51:33Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。