論文の概要: Reinforcement Learning-based Receding Horizon Control using Adaptive Control Barrier Functions for Safety-Critical Systems

• arxiv url: http://arxiv.org/abs/2403.17338v2
• Date: Sun, 10 Nov 2024 19:58:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:03:39.704721
• Title: Reinforcement Learning-based Receding Horizon Control using Adaptive Control Barrier Functions for Safety-Critical Systems
• Title（参考訳）: 安全臨界系に対する適応制御バリア関数を用いた強化学習に基づく回帰水平制御
• Authors: Ehsan Sabouni, H. M. Sabbir Ahmad, Vittorio Giammarino, Christos G. Cassandras, Ioannis Ch. Paschalidis, Wenchao Li,
• Abstract要約: 最適制御法は、安全クリティカルな問題に対する解決策を提供するが、容易に難解になる。 モデル予測制御を利用した強化学習に基づく回帰水平制御手法を提案する。 我々は、コネクテッド・アンド・オートマチック・ビークルにおける自動マージ制御問題に適用し、本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 14.166970599802324
• License:
• Abstract: Optimal control methods provide solutions to safety-critical problems but easily become intractable. Control Barrier Functions (CBFs) have emerged as a popular technique that facilitates their solution by provably guaranteeing safety, through their forward invariance property, at the expense of some performance loss. This approach involves defining a performance objective alongside CBF-based safety constraints that must always be enforced. Unfortunately, both performance and solution feasibility can be significantly impacted by two key factors: (i) the selection of the cost function and associated parameters, and (ii) the calibration of parameters within the CBF-based constraints, which capture the trade-off between performance and conservativeness. %as well as infeasibility. To address these challenges, we propose a Reinforcement Learning (RL)-based Receding Horizon Control (RHC) approach leveraging Model Predictive Control (MPC) with CBFs (MPC-CBF). In particular, we parameterize our controller and use bilevel optimization, where RL is used to learn the optimal parameters while MPC computes the optimal control input. We validate our method by applying it to the challenging automated merging control problem for Connected and Automated Vehicles (CAVs) at conflicting roadways. Results demonstrate improved performance and a significant reduction in the number of infeasible cases compared to traditional heuristic approaches used for tuning CBF-based controllers, showcasing the effectiveness of the proposed method.
• Abstract（参考訳）: 最適制御法は、安全クリティカルな問題に対する解決策を提供するが、容易に難解になる。 制御バリア関数(CBF)は、性能損失を犠牲にして、前方不変性を通じて、安全を確実に保証することで、そのソリューションを促進するポピュラーなテクニックとして登場した。 このアプローチでは、常に実施しなければならないCBFベースの安全制約と並行して、パフォーマンス目標を定義する。 残念ながら、パフォーマンスとソリューションの実現性の両方が、2つの重要な要因によって大きく影響を受ける可能性がある。 一 コスト関数及び関連するパラメータの選択 二 CBFに基づく制約の中でパラメータの校正を行い、性能と保守性のトレードオフを捉える。 %であった。 これらの課題に対処するために,モデル予測制御(MPC)とCBF(MPC-CBF)を併用した強化学習(RL)に基づく回帰水平制御(RHC)アプローチを提案する。 特に、制御器をパラメータ化して二段階最適化を行い、MPCが最適制御入力を計算している間に、RLを用いて最適パラメータを学習する。 本手法は,衝突する道路におけるコネクテッド・アンド・オートマチック・ビークル(CAV)の難易度自動マージ制御問題に適用することで検証する。 その結果,CBF ベースの制御器をチューニングする従来のヒューリスティックな手法と比較して,性能向上と有効ケース数の大幅な削減が図られ,提案手法の有効性が示された。

関連論文リスト

• Domain Adaptive Safety Filters via Deep Operator Learning [5.62479170374811]
  本稿では,環境パラメータから対応するCBFへのマッピングを学習する自己教師型深層演算子学習フレームワークを提案する。 動的障害物を含むナビゲーションタスクの数値実験により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-18T15:10:55Z)
• Reinforcement Learning with Model Predictive Control for Highway Ramp Metering [14.389086937116582]
  この研究は、交通フロー管理を強化するためのモデルベースと学習ベースの戦略の相乗効果について考察する。 制御問題は、適切なステージコスト関数を作成することにより、RLタスクとして定式化される。 RLアルゴリズムの関数近似として MPC 最適問題を利用する MPC ベースの RL アプローチを提案し,オンランプの効率的な制御について検討した。
  論文  参考訳（メタデータ） (2023-11-15T09:50:54Z)
• Safe Neural Control for Non-Affine Control Systems with Differentiable Control Barrier Functions [58.19198103790931]
  本稿では,非アフィン制御系における安全クリティカル制御の問題に対処する。 制御バリア関数(CBF)を用いて,状態制約と制御制約の2次コストの最適化を2次プログラムのシーケンス(QP)にサブ最適化できることが示されている。 我々は,高次CBFをニューラル常微分方程式に基づく学習モデルに差分CBFとして組み込んで,非アフィン制御系の安全性を保証する。
  論文  参考訳（メタデータ） (2023-09-06T05:35:48Z)
• Learning Feasibility Constraints for Control Barrier Functions [8.264868845642843]
  我々は、擬似プログラム(QP)の実現性を確保するために機械学習技術を採用している。 CBFのための新しい実現可能性制約を学習するためのサンプリングベース学習手法を提案する。 本稿では,制約付き最適制御問題に対する学習手法の利点を示す。
  論文  参考訳（メタデータ） (2023-03-10T16:29:20Z)
• Pointwise Feasibility of Gaussian Process-based Safety-Critical Control under Model Uncertainty [77.18483084440182]
  制御バリア関数(CBF)と制御リアプノフ関数(CLF)は、制御システムの安全性と安定性をそれぞれ強化するための一般的なツールである。 本稿では, CBF と CLF を用いた安全クリティカルコントローラにおいて, モデル不確実性に対処するためのガウスプロセス(GP)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-13T23:08:49Z)
• Learning Robust Hybrid Control Barrier Functions for Uncertain Systems [68.30783663518821]
  我々は,ロバストな安全を確保する制御則を合成する手段として,ロバストなハイブリッド制御障壁関数を提案する。 この概念に基づき,データからロバストなハイブリッド制御障壁関数を学習するための最適化問題を定式化する。 我々の技術は、モデル不確実性の対象となるコンパス歩行歩行者の魅力領域を安全に拡張することを可能にする。
  論文  参考訳（メタデータ） (2021-01-16T17:53:35Z)
• Enforcing robust control guarantees within neural network policies [76.00287474159973]
  本稿では、ニューラルネットワークによってパラメータ化され、ロバスト制御と同じ証明可能なロバスト性基準を適用した、一般的な非線形制御ポリシークラスを提案する。 提案手法は,複数の領域において有効であり,既存のロバスト制御法よりも平均ケース性能が向上し,(非ロバスト)深部RL法よりも最悪のケース安定性が向上した。
  論文  参考訳（メタデータ） (2020-11-16T17:14:59Z)
• Reinforcement Learning for Safety-Critical Control under Model Uncertainty, using Control Lyapunov Functions and Control Barrier Functions [96.63967125746747]
  強化学習フレームワークは、CBFおよびCLF制約に存在するモデル不確実性を学ぶ。 RL-CBF-CLF-QPは、安全制約におけるモデル不確実性の問題に対処する。
  論文  参考訳（メタデータ） (2020-04-16T10:51:33Z)
• Learning Control Barrier Functions from Expert Demonstrations [69.23675822701357]
  制御障壁関数(CBF)に基づく安全な制御器合成のための学習に基づくアプローチを提案する。 最適化に基づくCBFの学習手法を解析し、基礎となる力学系のリプシッツ仮定の下で証明可能な安全保証を享受する。 私たちの知る限りでは、これらはデータから確実に安全な制御障壁関数を学習する最初の結果です。
  論文  参考訳（メタデータ） (2020-04-07T12:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。