論文の概要: A Physics-Informed Machine Learning Framework for Safe and Optimal Control of Autonomous Systems
- arxiv url: http://arxiv.org/abs/2502.11057v2
- Date: Mon, 24 Feb 2025 12:56:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-25 22:39:56.265208
- Title: A Physics-Informed Machine Learning Framework for Safe and Optimal Control of Autonomous Systems
- Title（参考訳）: 自律システムの安全・最適制御のための物理インフォームド機械学習フレームワーク
- Authors: Manan Tayal, Aditya Singh, Shishir Kolathaya, Somil Bansal,
- Abstract要約: 安全性とパフォーマンスは競合する目標になり得るため、共同最適化が難しくなる。
本稿では,性能目標をコスト関数で符号化し,安全性要件を状態制約として課す,状態制約付き最適制御問題を提案する。
結果値関数はハミルトン・ヤコビ・ベルマン方程式を満たすことを示した。
- 参考スコア（独自算出の注目度）: 8.347548017994178
- License:
- Abstract: As autonomous systems become more ubiquitous in daily life, ensuring high performance with guaranteed safety is crucial. However, safety and performance could be competing objectives, which makes their co-optimization difficult. Learning-based methods, such as Constrained Reinforcement Learning (CRL), achieve strong performance but lack formal safety guarantees due to safety being enforced as soft constraints, limiting their use in safety-critical settings. Conversely, formal methods such as Hamilton-Jacobi (HJ) Reachability Analysis and Control Barrier Functions (CBFs) provide rigorous safety assurances but often neglect performance, resulting in overly conservative controllers. To bridge this gap, we formulate the co-optimization of safety and performance as a state-constrained optimal control problem, where performance objectives are encoded via a cost function and safety requirements are imposed as state constraints. We demonstrate that the resultant value function satisfies a Hamilton-Jacobi-Bellman (HJB) equation, which we approximate efficiently using a novel physics-informed machine learning framework. In addition, we introduce a conformal prediction-based verification strategy to quantify the learning errors, recovering a high-confidence safety value function, along with a probabilistic error bound on performance degradation. Through several case studies, we demonstrate the efficacy of the proposed framework in enabling scalable learning of safe and performant controllers for complex, high-dimensional autonomous systems.
- Abstract（参考訳）: 自律システムは日常生活においてよりユビキタスになるにつれて、安全が保証されたハイパフォーマンスの確保が不可欠である。
しかし、安全性とパフォーマンスは競合する目標になり得るため、共同最適化が困難になる。
Constrained Reinforcement Learning (CRL)のような学習ベースの手法は、強い性能を達成するが、安全がソフトな制約として強制され、安全クリティカルな設定での使用を制限するため、正式な安全保証が欠如している。
逆に、ハミルトン・ヤコビ (HJ) の到達可能性解析や制御バリア関数 (CBF) のような形式的手法は厳密な安全保証を提供するが、しばしば性能を無視し、過度に保守的なコントローラをもたらす。
このギャップを埋めるために、我々は、コスト関数を介して性能目標を符号化し、安全性要件を状態制約として課す、状態制約付き最適制御問題として、安全性と性能の協調最適化を定式化する。
結果値関数はハミルトン・ヤコビ・ベルマン方程式(HJB)を満たすことを示した。
さらに,学習誤差を定量化するための共形予測に基づく検証手法を導入し,信頼性の高い安全性値関数と性能劣化に基づく確率的誤差を復元する。
いくつかのケーススタディを通じて、複雑で高次元の自律システムに対する安全かつ高性能なコントローラのスケーラブルな学習を可能にするためのフレームワークの有効性を実証する。
関連論文リスト
- Learning-Enhanced Safeguard Control for High-Relative-Degree Systems: Robust Optimization under Disturbances and Faults [6.535600892275023]
本稿では,強化学習に基づく最適制御問題における安全性保証によるシステム性能の向上を目的とする。
安全性の勾配と性能の勾配の関係を定量化するために,勾配類似性の概念を提案する。
安全性を保証するため、安全なRLフレームワークに勾配操作と適応機構を導入している。
論文 参考訳（メタデータ） (2025-01-26T03:03:02Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement
Learning in Unknown Stochastic Environments [84.3830478851369]
本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。
本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
論文 参考訳（メタデータ） (2022-09-29T20:49:25Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - Sample-efficient Safe Learning for Online Nonlinear Control with Control
Barrier Functions [35.9713619595494]
強化学習と連続非線形制御は、複雑なシーケンシャルな意思決定タスクの複数の領域にうまく展開されている。
学習過程の探索特性とモデル不確実性の存在を考えると、それらを安全クリティカルな制御タスクに適用することは困難である。
本稿では,オンライン制御タスクを対象とした,効率のよいエピソード型安全な学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-29T00:54:35Z) - Safety and Liveness Guarantees through Reach-Avoid Reinforcement
Learning [24.56889192688925]
リーチ・アビド最適制御問題は、自律ロボットシステムの安全性と生存性保証の中心である。
性能目標を用いた最適制御問題を概ね解くための強化学習手法の最近の成功は、その認証問題への適用を魅力的にしている。
最近の研究は、安全型問題を扱うための強化学習機械の拡張を約束しており、その目的は和ではなく、時間とともに最小限(または最大)である。
論文 参考訳（メタデータ） (2021-12-23T00:44:38Z) - Pointwise Feasibility of Gaussian Process-based Safety-Critical Control
under Model Uncertainty [77.18483084440182]
制御バリア関数(CBF)と制御リアプノフ関数(CLF)は、制御システムの安全性と安定性をそれぞれ強化するための一般的なツールである。
本稿では, CBF と CLF を用いた安全クリティカルコントローラにおいて, モデル不確実性に対処するためのガウスプロセス(GP)に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-13T23:08:49Z) - Closing the Closed-Loop Distribution Shift in Safe Imitation Learning [80.05727171757454]
模倣学習問題において,安全な最適化に基づく制御戦略を専門家として扱う。
我々は、実行時に安価に評価でき、専門家と同じ安全保証を確実に満足する学習されたポリシーを訓練する。
論文 参考訳（メタデータ） (2021-02-18T05:11:41Z) - Learning Robust Hybrid Control Barrier Functions for Uncertain Systems [68.30783663518821]
我々は,ロバストな安全を確保する制御則を合成する手段として,ロバストなハイブリッド制御障壁関数を提案する。
この概念に基づき,データからロバストなハイブリッド制御障壁関数を学習するための最適化問題を定式化する。
我々の技術は、モデル不確実性の対象となるコンパス歩行歩行者の魅力領域を安全に拡張することを可能にする。
論文 参考訳（メタデータ） (2021-01-16T17:53:35Z) - Neural Lyapunov Redesign [36.2939747271983]
学習コントローラは、エージェントや環境に害を与えないように、何らかの安全の概念を保証しなければなりません。
リアプノフ関数は非線形力学系の安定性を評価する効果的なツールである。
本稿では,リアプノフ関数の推定と,安定領域を徐々に拡大する制御器の導出を交互に行う2プレーヤ協調アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-06T19:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。