論文の概要: Certificated Actor-Critic: Hierarchical Reinforcement Learning with Control Barrier Functions for Safe Navigation

• arxiv url: http://arxiv.org/abs/2501.17424v1
• Date: Wed, 29 Jan 2025 05:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:53:04.937718
• Title: Certificated Actor-Critic: Hierarchical Reinforcement Learning with Control Barrier Functions for Safe Navigation
• Title（参考訳）: Certificated Actor-Critic: 安全ナビゲーションのための制御バリア関数を用いた階層的強化学習
• Authors: Junjun Xie, Shuhao Zhao, Liang Hu, Huijun Gao,
• Abstract要約: 制御バリア関数(CBF)は、ロボットの安全なナビゲーションシステムを設計するための顕著なアプローチとして登場した。 我々はCertificated Actor-Critic (CAC) と呼ばれるモデルなし強化学習アルゴリズムを提案する。 CACは、階層的な強化学習フレームワークと、CBFから派生した明確に定義された報酬関数を導入している。
• 参考スコア（独自算出の注目度）: 10.177896903517546
• License:
• Abstract: Control Barrier Functions (CBFs) have emerged as a prominent approach to designing safe navigation systems of robots. Despite their popularity, current CBF-based methods exhibit some limitations: optimization-based safe control techniques tend to be either myopic or computationally intensive, and they rely on simplified system models; conversely, the learning-based methods suffer from the lack of quantitative indication in terms of navigation performance and safety. In this paper, we present a new model-free reinforcement learning algorithm called Certificated Actor-Critic (CAC), which introduces a hierarchical reinforcement learning framework and well-defined reward functions derived from CBFs. We carry out theoretical analysis and proof of our algorithm, and propose several improvements in algorithm implementation. Our analysis is validated by two simulation experiments, showing the effectiveness of our proposed CAC algorithm.
• Abstract（参考訳）: 制御バリア関数(CBF)は、ロボットの安全なナビゲーションシステムを設計するための顕著なアプローチとして登場した。 その人気にもかかわらず、現在のCBFベースの手法にはいくつかの制限がある: 最適化ベースの安全な制御技術は、ミオピックまたは計算集約的な傾向があり、それらは単純化されたシステムモデルに依存している; 逆に、学習ベースの手法は、ナビゲーション性能と安全性の点で定量的な指標が欠如している。 本稿では,Certificated Actor-Critic (CAC)と呼ばれるモデルレス強化学習アルゴリズムを提案する。 本稿では,アルゴリズムの理論的解析と証明を行い,アルゴリズムの実装におけるいくつかの改良を提案する。 解析は2つのシミュレーション実験により検証され,提案手法の有効性が示された。

関連論文リスト

• Reinforcement Learning with Ensemble Model Predictive Safety Certification [2.658598582858331]
  教師なし探索は、安全クリティカルなタスクに強化学習アルゴリズムを配置することを防ぐ。 本稿では,モデルに基づく深層強化学習と管型モデル予測制御を組み合わせた新しいアルゴリズムを提案する。 以上の結果から,従来の強化学習法に比べて制約違反が著しく少ないことが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T17:42:39Z)
• SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization [1.3597551064547502]
  本研究では,新しい安全強化学習アルゴリズム,セーフティ・クリティカル・ポリシー・オプティマイゼーションを導入する。 本研究では,安全制約に違反して得られる報酬を無効化する機構である安全評論家を定義した。 理論的解析により,提案アルゴリズムは安全制約への付着と報酬の最大化との間のトレードオフを自動的にバランスできることが示された。
  論文  参考訳（メタデータ） (2023-11-01T22:12:50Z)
• Benchmarking Actor-Critic Deep Reinforcement Learning Algorithms for Robotics Control with Action Constraints [9.293472255463454]
  本研究では,行動制約付き強化学習(RL)アルゴリズムの評価のためのベンチマークを提案する。 複数のロボット制御環境にまたがる既存のアルゴリズムとその新しい変種を評価する。
  論文  参考訳（メタデータ） (2023-04-18T05:45:09Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning [4.2955354157580325]
  深層強化学習(Deep RL)における重要な課題の1つは、トレーニングとテストフェーズの両方で安全性を確保することである。 そこで本稿では,オンライン強化学習アルゴリズムの安全性を向上させるために,教師なし行動計画の新たな手法を提案する。 提案アルゴリズムは,離散制御と連続制御の両問題において,複数のベースラインと比較して高い報酬を得られることを示す。
  論文  参考訳（メタデータ） (2021-09-29T10:26:29Z)
• Neural Network Repair with Reachability Analysis [10.384532888747993]
  安全は次世代の自律性にとって重要な問題であり、知覚と制御のためにディープニューラルネットワークに大きく依存する可能性が高い。 本研究は,安全クリティカルシステムにおける安全でないDNNを到達可能性解析で修復する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-09T17:56:51Z)
• Reinforcement Learning with Fast Stabilization in Linear Dynamical Systems [91.43582419264763]
  未知の安定化線形力学系におけるモデルベース強化学習(RL)について検討する。 本研究では,環境を効果的に探索することで,基盤システムの高速安定化を証明できるアルゴリズムを提案する。 提案アルゴリズムはエージェント環境相互作用の時間ステップで$tildemathcalO(sqrtT)$ regretを達成した。
  論文  参考訳（メタデータ） (2020-07-23T23:06:40Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)
• Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems [81.7983463275447]
  学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。 本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:57:43Z)
• Learning Control Barrier Functions from Expert Demonstrations [69.23675822701357]
  制御障壁関数(CBF)に基づく安全な制御器合成のための学習に基づくアプローチを提案する。 最適化に基づくCBFの学習手法を解析し、基礎となる力学系のリプシッツ仮定の下で証明可能な安全保証を享受する。 私たちの知る限りでは、これらはデータから確実に安全な制御障壁関数を学習する最初の結果です。
  論文  参考訳（メタデータ） (2020-04-07T12:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。