論文の概要: Neural Lyapunov Function Approximation with Self-Supervised Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2503.15629v1
• Date: Wed, 19 Mar 2025 18:29:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:35:06.232741
• Title: Neural Lyapunov Function Approximation with Self-Supervised Reinforcement Learning
• Title（参考訳）: 自己監督強化学習を用いたニューラルリアプノフ関数近似
• Authors: Luc McCutcheon, Bahman Gharesifard, Saber Fallah,
• Abstract要約: 本稿では,非線形リアプノフ関数のニューラル近似のための新しい,サンプル効率のよい手法を提案する。 提案手法では,データ駆動型ワールドモデルを用いて,都市外軌道からリャプノフ関数を訓練する。 本手法は, 目標条件と目標条件の両方のロボット作業において, より高速な収束と高い近似精度を示す。
• 参考スコア（独自算出の注目度）: 6.359354545489252
• License:
• Abstract: Control Lyapunov functions are traditionally used to design a controller which ensures convergence to a desired state, yet deriving these functions for nonlinear systems remains a complex challenge. This paper presents a novel, sample-efficient method for neural approximation of nonlinear Lyapunov functions, leveraging self-supervised Reinforcement Learning (RL) to enhance training data generation, particularly for inaccurately represented regions of the state space. The proposed approach employs a data-driven World Model to train Lyapunov functions from off-policy trajectories. The method is validated on both standard and goal-conditioned robotic tasks, demonstrating faster convergence and higher approximation accuracy compared to the state-of-the-art neural Lyapunov approximation baseline. The code is available at: https://github.com/CAV-Research-Lab/SACLA.git
• Abstract（参考訳）: 制御リャプノフ函数は伝統的に所望の状態への収束を保証するコントローラの設計に用いられるが、非線形系に対するこれらの関数の導出は難しい課題である。 本稿では, 非線形リアプノフ関数のニューラル近似のための, 自己教師付き強化学習(RL)を活用して, トレーニングデータ生成, 特に状態空間の不正確な領域に対して, 新たな, サンプル効率の手法を提案する。 提案手法では,データ駆動型ワールドモデルを用いて,都市外軌道からリャプノフ関数を訓練する。 この手法は、標準および目標条件のロボットタスクの両方で検証され、最先端のニューラル・リャプノフ近似ベースラインと比較して、より高速な収束と高い近似精度を示す。 コードは、https://github.com/CAV-Research-Lab/SACLA.gitで入手できる。

関連論文リスト

• Analytical Lyapunov Function Discovery: An RL-based Generative Approach [6.752429418580116]
  解析的リアプノフ関数(ローカル)を構築するために変換器を用いたエンドツーエンドフレームワークを提案する。 本フレームワークは,候補リアプノフ関数を生成するトランスフォーマーベーストレーナーと,候補表現を検証するファルシファイアから構成される。 本稿では,制御文献に未同定なリアプノフ関数が発見可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-04T05:04:15Z)
• Learning Koopman-based Stability Certificates for Unknown Nonlinear Systems [4.2162963332651575]
  未知非線形系のベクトル場とリアプノフ関数を同時に学習するアルゴリズムフレームワークを提案する。 学習したリアプノフ関数は、満足度モジュロ理論(SMT)の解法を用いて形式的に検証可能であることを示す。
  論文  参考訳（メタデータ） (2024-12-03T20:18:24Z)
• Learning and Verifying Maximal Taylor-Neural Lyapunov functions [0.4910937238451484]
  我々はTaylor-neural Lyapunov関数と呼ばれる新しいニューラルネットワークアーキテクチャを導入する。 このアーキテクチャは局所近似を符号化し、ニューラルネットワークを利用して残差を近似することで世界規模で拡張する。 この研究は制御理論の大幅な進歩を表しており、安定な制御系などの設計に幅広い応用が期待できる。
  論文  参考訳（メタデータ） (2024-08-30T12:40:12Z)
• Decomposing Control Lyapunov Functions for Efficient Reinforcement Learning [10.117626902557927]
  現在の強化学習(RL)手法では、特定のタスクを学習するために大量のデータを必要とするため、エージェントをデプロイして実世界のアプリケーションにデータを収集する場合、不合理なコストが発生する。 本稿では,RL の報酬関数を補うために,CLF (Control Lyapunov Function) を導入して,サンプルの複雑さを低減した既存の作業から構築する。 提案手法は,最先端のソフト・アクター・クリティカル・アルゴリズムが必要とする実世界のデータの半分以下でクワッドコプターを着陸させることが可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-18T19:51:17Z)
• Neural Lyapunov Control for Discrete-Time Systems [30.135651803114307]
  一般的なアプローチは、リャプノフ関数と関連する制御ポリシーの組み合わせを計算することである。 ニューラルネットワークを用いてリアプノフ関数を表現するいくつかの手法が提案されている。 離散時間系におけるニューラルリアプノフ制御の学習のための最初のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-11T03:28:20Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Learning the Linear Quadratic Regulator from Nonlinear Observations [135.66883119468707]
  我々は、LQR with Rich Observations(RichLQR)と呼ばれる連続制御のための新しい問題設定を導入する。 本設定では, 線形力学と二次的コストを有する低次元連続潜伏状態によって環境を要約する。 本結果は,システムモデルと一般関数近似における未知の非線形性を持つ連続制御のための,最初の証明可能なサンプル複雑性保証である。
  論文  参考訳（メタデータ） (2020-10-08T07:02:47Z)
• Formal Synthesis of Lyapunov Neural Networks [61.79595926825511]
  本稿では,リアプノフ関数の自動合成法を提案する。 我々は,数値学習者と記号検証器が相互作用して,確実に正しいリアプノフニューラルネットワークを構築する,反例誘導方式を採用する。 提案手法は,Lyapunov関数を他の手法よりも高速かつ広い空間領域で合成する。
  論文  参考訳（メタデータ） (2020-03-19T17:21:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。