論文の概要: Distributionally Robust Policy and Lyapunov-Certificate Learning

• arxiv url: http://arxiv.org/abs/2404.03017v2
• Date: Sat, 3 Aug 2024 18:43:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 23:16:45.877537
• Title: Distributionally Robust Policy and Lyapunov-Certificate Learning
• Title（参考訳）: 分布ロバスト政策とリャプノフ認証学習
• Authors: Kehan Long, Jorge Cortes, Nikolay Atanasov,
• Abstract要約: 不確実なシステムに対する安定性を保証するコントローラの設計における重要な課題は、オンラインデプロイメント中のモデルパラメトリック不確実性の変化の正確な決定と適応である。 我々は、リアプノフ証明書の単調な減少を保証するために、リアプノフ微分チャンス制約を分布的に頑健に定式化することで、この問題に取り組む。 得られた閉ループシステムに対して、その平衡のグローバルな安定性は、アウト・オブ・ディストリビューションの不確実性があっても高い信頼性で証明できることを示す。
• 参考スコア（独自算出の注目度）: 13.38077406934971
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This article presents novel methods for synthesizing distributionally robust stabilizing neural controllers and certificates for control systems under model uncertainty. A key challenge in designing controllers with stability guarantees for uncertain systems is the accurate determination of and adaptation to shifts in model parametric uncertainty during online deployment. We tackle this with a novel distributionally robust formulation of the Lyapunov derivative chance constraint ensuring a monotonic decrease of the Lyapunov certificate. To avoid the computational complexity involved in dealing with the space of probability measures, we identify a sufficient condition in the form of deterministic convex constraints that ensures the Lyapunov derivative constraint is satisfied. We integrate this condition into a loss function for training a neural network-based controller and show that, for the resulting closed-loop system, the global asymptotic stability of its equilibrium can be certified with high confidence, even with Out-of-Distribution (OoD) model uncertainties. To demonstrate the efficacy and efficiency of the proposed methodology, we compare it with an uncertainty-agnostic baseline approach and several reinforcement learning approaches in two control problems in simulation.
• Abstract（参考訳）: 本稿では, モデル不確実性下での制御系における制御系に対する制御器と制御器の安定化を, 分散的に頑健に行うための新しい手法を提案する。 不確実なシステムの安定性を保証するコントローラを設計する上で重要な課題は、オンライン展開中のモデルパラメトリック不確実性の正確な決定と適応である。 我々は、リアプノフ証明書の単調な減少を保証するために、リアプノフ微分チャンス制約を分布的に頑健に定式化することで、この問題に取り組む。 確率測度の空間を扱う際の計算複雑性を避けるため、リアプノフ微分制約を満たす決定論的凸制約の形で十分条件を同定する。 この条件をニューラルネットワークベースのコントローラをトレーニングする損失関数に統合し,結果のクローズループシステムでは,アウト・オブ・ディストリビューション(OoD)モデルの不確実性であっても,その平衡のグローバルな漸近安定性が高い信頼性で証明可能であることを示す。 提案手法の有効性と有効性を示すため,シミュレーションにおける2つの制御問題における不確実性に依存しないベースラインアプローチと強化学習アプローチとの比較を行った。

関連論文リスト

• Stability Bounds for Learning-Based Adaptive Control of Discrete-Time Multi-Dimensional Stochastic Linear Systems with Input Constraints [3.8004168340068336]
  本研究では,有界制御入力制約と非有界障害を有する離散時間多次元システムの適応安定化問題について考察する。 本稿では,オンラインパラメータ推定と飽和線形制御を組み合わせた等価制御手法を提案する。
  論文  参考訳（メタデータ） (2023-04-02T16:38:13Z)
• Probabilities Are Not Enough: Formal Controller Synthesis for Stochastic Dynamical Models with Epistemic Uncertainty [68.00748155945047]
  複雑な力学系のモデルにおける不確実性を捉えることは、安全なコントローラの設計に不可欠である。 いくつかのアプローチでは、安全と到達可能性に関する時間的仕様を満たすポリシーを形式的な抽象化を用いて合成する。 我々の貢献は、ノイズ、不確実なパラメータ、外乱を含む連続状態モデルに対する新しい抽象的制御法である。
  論文  参考訳（メタデータ） (2022-10-12T07:57:03Z)
• KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems [66.9461097311667]
  形式的安定性を保証するモデルに基づく強化学習フレームワークを提案する。 提案手法は,特徴表現を用いて信頼区間までシステムダイナミクスを学習する。 我々は、KCRLが、基礎となる未知のシステムとの有限数の相互作用において安定化ポリシーを学ぶことが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:27:04Z)
• Neural Lyapunov Differentiable Predictive Control [2.042924346801313]
  本稿では、確率的リアプノフに基づく安定性保証を備えた微分可能なプログラミングフレームワークを用いた学習に基づく予測制御手法を提案する。 この手法は、安定な力学で状態空間の領域を認証するリアプノフ関数を共同で学習する。
  論文  参考訳（メタデータ） (2022-05-22T03:52:27Z)
• Adversarially Robust Stability Certificates can be Sample-Efficient [14.658040519472646]
  未知の非線形力学系に対する逆向きに頑健な安定性証明について考察する。 敵安定証明書を学習する統計的コストは,定型的安定性証明書を学習するのと同程度であることを示す。
  論文  参考訳（メタデータ） (2021-12-20T17:23:31Z)
• Stability Verification in Stochastic Control Systems via Neural Network Supermartingales [17.558766911646263]
  2つの新しい側面を持つ一般非線形制御問題に対するアプローチを提案する。 我々は、A.s.asymptotic stabilityの証明にランキング・スーパーガレス(RSM)を使用し、ニューラルネットワークの学習方法を提案する。
  論文  参考訳（メタデータ） (2021-12-17T13:05:14Z)
• Pointwise Feasibility of Gaussian Process-based Safety-Critical Control under Model Uncertainty [77.18483084440182]
  制御バリア関数(CBF)と制御リアプノフ関数(CLF)は、制御システムの安全性と安定性をそれぞれ強化するための一般的なツールである。 本稿では, CBF と CLF を用いた安全クリティカルコントローラにおいて, モデル不確実性に対処するためのガウスプロセス(GP)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-13T23:08:49Z)
• Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
  ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。 本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
  論文  参考訳（メタデータ） (2021-05-17T08:36:18Z)
• Closing the Closed-Loop Distribution Shift in Safe Imitation Learning [80.05727171757454]
  模倣学習問題において,安全な最適化に基づく制御戦略を専門家として扱う。 我々は、実行時に安価に評価でき、専門家と同じ安全保証を確実に満足する学習されたポリシーを訓練する。
  論文  参考訳（メタデータ） (2021-02-18T05:11:41Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。