論文の概要: Stable Modular Control via Contraction Theory for Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2311.03669v1
- Date: Tue, 7 Nov 2023 02:41:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 17:17:25.130308
- Title: Stable Modular Control via Contraction Theory for Reinforcement Learning
- Title（参考訳）: 強化学習のための収縮理論による安定モジュール制御
- Authors: Bing Song, Jean-Jacques Slotine, Quang-Cuong Pham
- Abstract要約: 本稿では,制御技術と強化学習(RL)を融合して,安定性,堅牢性,一般化を実現する新しい手法を提案する。
我々は信号合成と動的分解によりそのようなモジュラリティを実現する。
- 参考スコア（独自算出の注目度）: 8.742125999252366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel way to integrate control techniques with reinforcement
learning (RL) for stability, robustness, and generalization: leveraging
contraction theory to realize modularity in neural control, which ensures that
combining stable subsystems can automatically preserve the stability. We
realize such modularity via signal composition and dynamic decomposition.
Signal composition creates the latent space, within which RL applies to
maximizing rewards. Dynamic decomposition is realized by coordinate
transformation that creates an auxiliary space, within which the latent signals
are coupled in the way that their combination can preserve stability provided
each signal, that is, each subsystem, has stable self-feedbacks. Leveraging
modularity, the nonlinear stability problem is deconstructed into algebraically
solvable ones, the stability of the subsystems in the auxiliary space, yielding
linear constraints on the input gradients of control networks that can be as
simple as switching the signs of network weights. This minimally invasive
method for stability allows arguably easy integration into the modular neural
architectures in machine learning, like hierarchical RL, and improves their
performance. We demonstrate in simulation the necessity and the effectiveness
of our method: the necessity for robustness and generalization, and the
effectiveness in improving hierarchical RL for manipulation learning.
- Abstract（参考訳）: 本稿では, 安定度, 堅牢度, 一般化のための強化学習(RL)と制御技術を統合する新しい手法を提案する。
信号合成と動的分解によるモジュラリティを実現する。
信号合成は、RLが報酬の最大化に適用する潜在空間を生成する。
動的分解は座標変換によって実現され、各信号、すなわち各サブシステムが安定な自己フィードバックを持つときの安定性を保てるように、潜在信号が結合される補助空間を生成する。
モジュラリティを活用することで、非線形安定性問題は代数的に解くことができる問題、補助空間におけるサブシステムの安定性に分解され、ネットワークの重み付けの符号を切り替えるのと同じくらい簡単な制御ネットワークの入力勾配に線形制約を与える。
この最小侵襲的な安定性の方法は、階層的RLのような機械学習におけるモジュラーニューラルネットワークへの統合を容易にし、パフォーマンスを向上させる。
本研究では,本手法の必要性と有効性,すなわちロバスト性と一般化の必要性,学習操作における階層的RLの改善効果をシミュレーションで示す。
関連論文リスト
- Learning to Boost the Performance of Stable Nonlinear Systems [0.0]
クローズドループ安定性保証による性能ブースティング問題に対処する。
本手法は,安定な非線形システムのための性能ブースティング制御器のニューラルネットワーククラスを任意に学習することを可能にする。
論文 参考訳（メタデータ） (2024-05-01T21:11:29Z) - Lyapunov-stable Neural Control for State and Output Feedback: A Novel Formulation [67.63756749551924]
学習ベースのニューラルネットワーク(NN)制御ポリシは、ロボット工学と制御の幅広いタスクにおいて、印象的な経験的パフォーマンスを示している。
非線形力学系を持つNNコントローラのトラクション領域(ROA)に対するリアプノフ安定性の保証は困難である。
我々は、高速な経験的ファルシフィケーションと戦略的正則化を用いて、Lyapunov証明書とともにNNコントローラを学習するための新しいフレームワークを実証する。
論文 参考訳（メタデータ） (2024-04-11T17:49:15Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - Incorporating Neuro-Inspired Adaptability for Continual Learning in
Artificial Intelligence [59.11038175596807]
継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。
既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。
本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
論文 参考訳（メタデータ） (2023-08-29T02:43:58Z) - Data-Driven Control with Inherent Lyapunov Stability [3.695480271934742]
本研究では,非線形力学モデルと安定化制御器のパラメトリック表現をデータから共同学習する手法として,インヒーレント・リャプノフ安定度制御(CoILS)を提案する。
新たな構成によって保証される学習力学の安定化性に加えて、学習した制御器は学習力学の忠実性に関する特定の仮定の下で真の力学を安定化することを示す。
論文 参考訳（メタデータ） (2023-03-06T14:21:42Z) - Formal Controller Synthesis for Markov Jump Linear Systems with
Uncertain Dynamics [64.72260320446158]
マルコフジャンプ線形系に対する制御器の合成法を提案する。
本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。
本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
論文 参考訳（メタデータ） (2022-12-01T17:36:30Z) - KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed
Stability in Nonlinear Dynamical Systems [66.9461097311667]
形式的安定性を保証するモデルに基づく強化学習フレームワークを提案する。
提案手法は,特徴表現を用いて信頼区間までシステムダイナミクスを学習する。
我々は、KCRLが、基礎となる未知のシステムとの有限数の相互作用において安定化ポリシーを学ぶことが保証されていることを示す。
論文 参考訳（メタデータ） (2022-06-03T17:27:04Z) - Total Energy Shaping with Neural Interconnection and Damping Assignment
-- Passivity Based Control [2.1485350418225244]
我々は、ニューラルネットワーク(NN)の普遍近似特性を利用して、受動性に基づく制御スキームを設計する。
提案した制御設計手法は,自由度1度と2度のメカニカルシステムに対して検証される。
論文 参考訳（メタデータ） (2021-12-24T08:41:17Z) - Gaussian Process-based Min-norm Stabilizing Controller for
Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。
この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
論文 参考訳（メタデータ） (2020-11-14T01:27:32Z) - Imposing Robust Structured Control Constraint on Reinforcement Learning
of Linear Quadratic Regulator [0.0]
本稿では,分散学習制御の手法を編み出した汎用構造の設計について述べる。
方法論の開発には、強化学習(RL)と制御理論による十分な安定性と性能保証を併用した考え方を用いる。
6エージェントのマルチエージェントネットワーク上でのシミュレーションによる理論的結果の検証を行った。
論文 参考訳（メタデータ） (2020-11-12T00:31:39Z) - Reinforcement Learning of Structured Control for Linear Systems with
Unknown State Matrix [0.0]
十分な安定性と性能保証と合わせて強化学習(RL)のアイデアを提示する。
このフレームワークによって実現される特別な制御構造は、多くの大規模サイバー物理システムで必要とされる分散学習制御である。
論文 参考訳（メタデータ） (2020-11-02T17:04:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。