論文の概要: Neural Lyapunov Control for Discrete-Time Systems
- arxiv url: http://arxiv.org/abs/2305.06547v2
- Date: Mon, 16 Oct 2023 18:43:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 22:11:34.617740
- Title: Neural Lyapunov Control for Discrete-Time Systems
- Title（参考訳）: 離散時間系のニューラルリアプノフ制御
- Authors: Junlin Wu, Andrew Clark, Yiannis Kantaros and Yevgeniy Vorobeychik
- Abstract要約: 一般的なアプローチは、リャプノフ関数と関連する制御ポリシーの組み合わせを計算することである。
ニューラルネットワークを用いてリアプノフ関数を表現するいくつかの手法が提案されている。
離散時間系におけるニューラルリアプノフ制御の学習のための最初のアプローチを提案する。
- 参考スコア（独自算出の注目度）: 30.135651803114307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While ensuring stability for linear systems is well understood, it remains a
major challenge for nonlinear systems. A general approach in such cases is to
compute a combination of a Lyapunov function and an associated control policy.
However, finding Lyapunov functions for general nonlinear systems is a
challenging task. To address this challenge, several methods have been proposed
that represent Lyapunov functions using neural networks. However, such
approaches either focus on continuous-time systems, or highly restricted
classes of nonlinear dynamics. We propose the first approach for learning
neural Lyapunov control in a broad class of discrete-time systems. Three key
ingredients enable us to effectively learn provably stable control policies.
The first is a novel mixed-integer linear programming approach for verifying
the discrete-time Lyapunov stability conditions, leveraging the particular
structure of these conditions. The second is a novel approach for computing
verified sublevel sets. The third is a heuristic gradient-based method for
quickly finding counterexamples to significantly speed up Lyapunov function
learning. Our experiments on four standard benchmarks demonstrate that our
approach significantly outperforms state-of-the-art baselines. For example, on
the path tracking benchmark, we outperform recent neural Lyapunov control
baselines by an order of magnitude in both running time and the size of the
region of attraction, and on two of the four benchmarks (cartpole and PVTOL),
ours is the first automated approach to return a provably stable controller.
Our code is available at: https://github.com/jlwu002/nlc_discrete.
- Abstract（参考訳）: 線形系の安定性はよく理解されているが、非線形系の大きな課題である。
そのような場合の一般的なアプローチは、リャプノフ函数と関連する制御ポリシーの組み合わせを計算することである。
しかし、一般非線形系に対するリアプノフ函数の発見は難しい課題である。
この課題に対処するために、ニューラルネットワークを用いてリアプノフ関数を表現するいくつかの方法が提案されている。
しかし、そのようなアプローチは連続時間系、あるいは非線形力学の高度に制限されたクラスに焦点を当てる。
離散時間系におけるニューラルリアプノフ制御の学習のための最初のアプローチを提案する。
3つの重要な要素により、確実に安定した制御方針を効果的に学習することができる。
1つ目は、離散時間リアプノフ安定性条件を検証し、これらの条件の特定の構造を活用するための新しい混合整数線形計画法である。
2つ目は、検証済みのサブレベル集合を計算するための新しいアプローチである。
3つ目は、リプノフ関数学習を著しく高速化する反例を素早く見つけるヒューリスティック勾配に基づく手法である。
4つの標準ベンチマーク実験により、我々のアプローチは最先端のベースラインを大きく上回ることを示した。
例えば、パストラッキングベンチマークでは、最近のニューラルネットワークのlyapunovコントロールベースラインを、実行時間とアトラクション領域のサイズの両方で桁違いに上回り、この4つのベンチマーク(cartpoleとpvtol)のうち2つでは、当社が証明可能な安定したコントローラを返すための最初の自動アプローチです。
私たちのコードは、https://github.com/jlwu002/nlc_discreteで利用可能です。
関連論文リスト
- Lyapunov-stable Neural Control for State and Output Feedback: A Novel Formulation [67.63756749551924]
学習ベースのニューラルネットワーク(NN)制御ポリシは、ロボット工学と制御の幅広いタスクにおいて、印象的な経験的パフォーマンスを示している。
非線形力学系を持つNNコントローラのトラクション領域(ROA)に対するリアプノフ安定性の保証は困難である。
我々は、高速な経験的ファルシフィケーションと戦略的正則化を用いて、Lyapunov証明書とともにNNコントローラを学習するための新しいフレームワークを実証する。
論文 参考訳（メタデータ） (2024-04-11T17:49:15Z) - Interval Reachability of Nonlinear Dynamical Systems with Neural Network
Controllers [5.543220407902113]
本稿では、ニューラルネットワークコントローラを用いた非線形連続時間力学系の厳密な検証のための区間解析に基づく計算効率の良いフレームワークを提案する。
混合単調理論に着想を得て,ニューラルネットワークの包摂関数と開ループシステムの分解関数を用いて,閉ループ力学をより大きなシステムに組み込む。
埋め込みシステムの単一軌跡を用いて、到達可能な集合の超矩形超近似を効率的に計算できることが示される。
論文 参考訳（メタデータ） (2023-01-19T06:46:36Z) - Backward Reachability Analysis of Neural Feedback Loops: Techniques for
Linear and Nonlinear Systems [59.57462129637796]
本稿では,ニューラルネットワークを用いた閉ループシステムの安全性検証のための後方到達性アプローチを提案する。
フィードバックループにおけるNNの存在は、その活性化関数の非線形性や、NNモデルは一般に可逆的ではないため、ユニークな問題セットを示す。
フィードフォワードNNで表される制御ポリシを持つ線形系と非線形系のBP過近似を計算するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-28T13:17:28Z) - Neural Lyapunov Control of Unknown Nonlinear Systems with Stability
Guarantees [4.786698731084036]
本稿では,未知の非線形システムをニューラルネットワークで安定化させ,ニューラルリアプノフ関数を学習するための学習フレームワークを提案する。
未知の非線形システムに対する閉ループ安定性の観点から,提案手法の理論的保証を提供する。
論文 参考訳（メタデータ） (2022-06-04T05:57:31Z) - Neural System Level Synthesis: Learning over All Stabilizing Policies
for Nonlinear Systems [0.0]
本稿では,パラメータ最適化における閉ループ安定性を保証するニューラルSLS(Neur-SLS)手法を提案する。
本稿では,Recurrent Equilibrium Networks (RENs) に基づく最近のDeep Neural Network (DNN) モデルを用いて,非線形安定演算子の豊富なクラスについて学習する。
論文 参考訳（メタデータ） (2022-03-22T15:22:31Z) - Stability Verification in Stochastic Control Systems via Neural Network
Supermartingales [17.558766911646263]
2つの新しい側面を持つ一般非線形制御問題に対するアプローチを提案する。
我々は、A.s.asymptotic stabilityの証明にランキング・スーパーガレス(RSM)を使用し、ニューラルネットワークの学習方法を提案する。
論文 参考訳（メタデータ） (2021-12-17T13:05:14Z) - Imitation Learning of Stabilizing Policies for Nonlinear Systems [1.52292571922932]
線形システムやコントローラ向けに開発された手法は,平方の和を用いて容易にコントローラに拡張できることが示されている。
予測勾配降下法とアルゴリズムの交互方向法を, 安定化模倣学習問題に対して提案する。
論文 参考訳（メタデータ） (2021-09-22T17:27:19Z) - Learning the Linear Quadratic Regulator from Nonlinear Observations [135.66883119468707]
我々は、LQR with Rich Observations(RichLQR)と呼ばれる連続制御のための新しい問題設定を導入する。
本設定では, 線形力学と二次的コストを有する低次元連続潜伏状態によって環境を要約する。
本結果は,システムモデルと一般関数近似における未知の非線形性を持つ連続制御のための,最初の証明可能なサンプル複雑性保証である。
論文 参考訳（メタデータ） (2020-10-08T07:02:47Z) - Reinforcement Learning with Fast Stabilization in Linear Dynamical
Systems [91.43582419264763]
未知の安定化線形力学系におけるモデルベース強化学習(RL)について検討する。
本研究では,環境を効果的に探索することで,基盤システムの高速安定化を証明できるアルゴリズムを提案する。
提案アルゴリズムはエージェント環境相互作用の時間ステップで$tildemathcalO(sqrtT)$ regretを達成した。
論文 参考訳（メタデータ） (2020-07-23T23:06:40Z) - Formal Synthesis of Lyapunov Neural Networks [61.79595926825511]
本稿では,リアプノフ関数の自動合成法を提案する。
我々は,数値学習者と記号検証器が相互作用して,確実に正しいリアプノフニューラルネットワークを構築する,反例誘導方式を採用する。
提案手法は,Lyapunov関数を他の手法よりも高速かつ広い空間領域で合成する。
論文 参考訳（メタデータ） (2020-03-19T17:21:02Z) - Adaptive Control and Regret Minimization in Linear Quadratic Gaussian
(LQG) Setting [91.43582419264763]
我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。
LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
論文 参考訳（メタデータ） (2020-03-12T19:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。