論文の概要: Analytical Lyapunov Function Discovery: An RL-based Generative Approach
- arxiv url: http://arxiv.org/abs/2502.02014v1
- Date: Tue, 04 Feb 2025 05:04:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:00:55.360688
- Title: Analytical Lyapunov Function Discovery: An RL-based Generative Approach
- Title（参考訳）: 解析的リアプノフ関数発見:RLに基づく生成的アプローチ
- Authors: Haohan Zou, Jie Feng, Hao Zhao, Yuanyuan Shi,
- Abstract要約: 解析的リアプノフ関数(ローカル)を構築するために変換器を用いたエンドツーエンドフレームワークを提案する。
本フレームワークは,候補リアプノフ関数を生成するトランスフォーマーベーストレーナーと,候補表現を検証するファルシファイアから構成される。
本稿では,制御文献に未同定なリアプノフ関数が発見可能であることを示す。
- 参考スコア（独自算出の注目度）: 6.752429418580116
- License:
- Abstract: Despite advances in learning-based methods, finding valid Lyapunov functions for nonlinear dynamical systems remains challenging. Current neural network approaches face two main issues: challenges in scalable verification and limited interpretability. To address these, we propose an end-to-end framework using transformers to construct analytical Lyapunov functions (local), which simplifies formal verification, enhances interpretability, and provides valuable insights for control engineers. Our framework consists of a transformer-based trainer that generates candidate Lyapunov functions and a falsifier that verifies candidate expressions and refines the model via risk-seeking policy gradient. Unlike Alfarano et al. (2024), which utilizes pre-training and seeks global Lyapunov functions for low-dimensional systems, our model is trained from scratch via reinforcement learning (RL) and succeeds in finding local Lyapunov functions for high-dimensional and non-polynomial systems. Given the analytical nature of the candidates, we employ efficient optimization methods for falsification during training and formal verification tools for the final verification. We demonstrate the efficiency of our approach on a range of nonlinear dynamical systems with up to ten dimensions and show that it can discover Lyapunov functions not previously identified in the control literature.
- Abstract（参考訳）: 学習に基づく手法の進歩にもかかわらず、非線形力学系に対して有効なリアプノフ関数を見つけることは依然として困難である。
現在のニューラルネットワークアプローチでは,スケーラブルな検証と限定的な解釈可能性という,2つの大きな問題に直面している。
そこで本稿では,解析的リアプノフ関数(ローカル)の構築にトランスフォーマーを用いたエンドツーエンドのフレームワークを提案する。
提案フレームワークは,候補リアプノフ関数を生成するトランスフォーマーベーストレーナーと,候補表現を検証し,リスク探索ポリシ勾配を介してモデルを洗練するファルシファイアから構成される。
2024年のAlfarano et al(英語版)とは異なり、このモデルは低次元システムにおいて大域的なリアプノフ関数を求め、強化学習(RL)によりゼロから学習し、高次元および非ポリノミカルシステムにおいて局所的なリアプノフ関数を見つけることに成功した。
対象者の分析特性を考慮し, トレーニング中のファルシフィケーションの効率的な最適化手法と, 最終検証のための形式的検証ツールを用いる。
最大10次元の非線形力学系に対するアプローチの効率を実証し、制御文献で以前に特定されていなかったリャプノフ関数を発見できることを示す。
関連論文リスト
- Formally Verified Physics-Informed Neural Control Lyapunov Functions [4.2162963332651575]
制御リャプノフ関数は非線形系の安定化コントローラの設計と解析において中心的なツールである。
本稿では,ニューラルネットワーク制御Lyapunov関数の物理インフォームド学習と形式検証について検討する。
論文 参考訳（メタデータ） (2024-09-30T17:27:56Z) - Learning and Verifying Maximal Taylor-Neural Lyapunov functions [0.4910937238451484]
我々はTaylor-neural Lyapunov関数と呼ばれる新しいニューラルネットワークアーキテクチャを導入する。
このアーキテクチャは局所近似を符号化し、ニューラルネットワークを利用して残差を近似することで世界規模で拡張する。
この研究は制御理論の大幅な進歩を表しており、安定な制御系などの設計に幅広い応用が期待できる。
論文 参考訳（メタデータ） (2024-08-30T12:40:12Z) - Directed Exploration in Reinforcement Learning from Linear Temporal Logic [59.707408697394534]
リニア時間論理(LTL)は強化学習におけるタスク仕様のための強力な言語である。
合成された報酬信号は基本的に疎結合であり,探索が困難であることを示す。
我々は、仕様をさらに活用し、それに対応するリミット決定性B"uchi Automaton(LDBA)をマルコフ報酬プロセスとしてキャストすることで、よりよい探索を実現することができることを示す。
論文 参考訳（メタデータ） (2024-08-18T14:25:44Z) - Decomposing Control Lyapunov Functions for Efficient Reinforcement Learning [10.117626902557927]
現在の強化学習(RL)手法では、特定のタスクを学習するために大量のデータを必要とするため、エージェントをデプロイして実世界のアプリケーションにデータを収集する場合、不合理なコストが発生する。
本稿では,RL の報酬関数を補うために,CLF (Control Lyapunov Function) を導入して,サンプルの複雑さを低減した既存の作業から構築する。
提案手法は,最先端のソフト・アクター・クリティカル・アルゴリズムが必要とする実世界のデータの半分以下でクワッドコプターを着陸させることが可能であることを示す。
論文 参考訳（メタデータ） (2024-03-18T19:51:17Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳（メタデータ） (2022-10-03T07:59:42Z) - Joint Differentiable Optimization and Verification for Certified
Reinforcement Learning [91.93635157885055]
安全クリティカル制御システムのためのモデルベース強化学習では,システム特性を正式に認定することが重要である。
本稿では,強化学習と形式検証を共同で行う枠組みを提案する。
論文 参考訳（メタデータ） (2022-01-28T16:53:56Z) - Supervised DKRC with Images for Offline System Identification [77.34726150561087]
現代の力学系はますます非線形で複雑なものになりつつある。
予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。
本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
論文 参考訳（メタデータ） (2021-09-06T04:39:06Z) - Learning Off-Policy with Online Planning [18.63424441772675]
本研究では,学習モデルと端末値関数を用いたHステップルックアヘッドの新たなインスタンス化について検討する。
ナビゲーション環境の集合に配置する際の安全性制約を組み込むLOOPの柔軟性を示す。
論文 参考訳（メタデータ） (2020-08-23T16:18:44Z) - Automated and Sound Synthesis of Lyapunov Functions with SMT Solvers [70.70479436076238]
線形、非線形(ポリノミカル)およびパラメトリックモデルに対するリャプノフ関数を合成する。
パラメトリックテンプレートからLyapunov関数を合成するための帰納的フレームワークを利用する。
論文 参考訳（メタデータ） (2020-07-21T14:45:23Z) - Formal Synthesis of Lyapunov Neural Networks [61.79595926825511]
本稿では,リアプノフ関数の自動合成法を提案する。
我々は,数値学習者と記号検証器が相互作用して,確実に正しいリアプノフニューラルネットワークを構築する,反例誘導方式を採用する。
提案手法は,Lyapunov関数を他の手法よりも高速かつ広い空間領域で合成する。
論文 参考訳（メタデータ） (2020-03-19T17:21:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。