論文の概要: Imposing Robust Structured Control Constraint on Reinforcement Learning
of Linear Quadratic Regulator
- arxiv url: http://arxiv.org/abs/2011.07011v2
- Date: Fri, 19 Feb 2021 19:28:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-26 08:07:28.934522
- Title: Imposing Robust Structured Control Constraint on Reinforcement Learning
of Linear Quadratic Regulator
- Title（参考訳）: リニア二次レギュレータの強化学習におけるロバスト構造制御制約の適用
- Authors: Sayak Mukherjee, Thanh Long Vu
- Abstract要約: 本稿では,分散学習制御の手法を編み出した汎用構造の設計について述べる。
方法論の開発には、強化学習(RL)と制御理論による十分な安定性と性能保証を併用した考え方を用いる。
6エージェントのマルチエージェントネットワーク上でのシミュレーションによる理論的結果の検証を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper discusses learning a structured feedback control to obtain
sufficient robustness to exogenous inputs for linear dynamic systems with
unknown state matrix. The structural constraint on the controller is necessary
for many cyber-physical systems, and our approach presents a design for any
generic structure, paving the way for distributed learning control. The ideas
from reinforcement learning (RL) in conjunction with control-theoretic
sufficient stability and performance guarantees are used to develop the
methodology. First, a model-based framework is formulated using dynamic
programming to embed the structural constraint in the linear quadratic
regulator (LQR) setting along with sufficient robustness conditions.
Thereafter, we translate these conditions to a data-driven learning-based
framework - robust structured reinforcement learning (RSRL) that enjoys the
control-theoretic guarantees on stability and convergence. We validate our
theoretical results with a simulation on a multi-agent network with 6 agents.
- Abstract（参考訳）: 本稿では,未知状態行列を持つ線形力学系の外部入力に対する十分なロバスト性を得るために,構造化フィードバック制御の学習について述べる。
制御器の構造的制約は多くのサイバー物理システムにおいて必要であり,本手法は汎用構造の設計であり,分散学習制御への道を開く。
方法論の開発には、強化学習(RL)と制御理論による十分な安定性と性能保証を併用した考え方を用いる。
まず、モデルベースのフレームワークを動的プログラミングを用いて定式化し、十分なロバスト性条件とともに線形二次レギュレータ(LQR)に構造制約を埋め込む。
その後、これらの条件をデータ駆動学習ベースのフレームワーク - 安定と収束の制御論的保証を享受する頑健な構造化強化学習(RSRL)に変換する。
6エージェントのマルチエージェントネットワーク上でのシミュレーションにより理論的結果を検証する。
関連論文リスト
- Neural Internal Model Control: Learning a Robust Control Policy via Predictive Error Feedback [16.46487826869775]
本稿では,モデルベース制御とRLベース制御を統合し,ロバスト性を高めるニューラル内部モデル制御を提案する。
我々のフレームワークは、剛体力学にニュートン・オイラー方程式を適用することで予測モデルを合理化し、複雑な高次元非線形性を捉える必要がなくなる。
本研究では,四足歩行ロボットと四足歩行ロボットにおけるフレームワークの有効性を実証し,最先端の手法と比較して優れた性能を実現する。
論文 参考訳（メタデータ） (2024-11-20T07:07:42Z) - Learning Exactly Linearizable Deep Dynamics Models [0.07366405857677226]
本稿では, 安定度, 信頼性, 信頼性を確保するために, 様々な制御理論を容易に適用可能な, 線形化可能な動的モデルの学習法を提案する。
提案手法は, 自動車エンジンのリアルタイム制御に応用され, 予測性能と制約下での安定制御が良好であることを示す。
論文 参考訳（メタデータ） (2023-11-30T05:40:55Z) - Stable Modular Control via Contraction Theory for Reinforcement Learning [8.742125999252366]
本稿では,制御技術と強化学習(RL)を融合して,安定性,堅牢性,一般化を実現する新しい手法を提案する。
我々は信号合成と動的分解によりそのようなモジュラリティを実現する。
論文 参考訳（メタデータ） (2023-11-07T02:41:02Z) - KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed
Stability in Nonlinear Dynamical Systems [66.9461097311667]
形式的安定性を保証するモデルに基づく強化学習フレームワークを提案する。
提案手法は,特徴表現を用いて信頼区間までシステムダイナミクスを学習する。
我々は、KCRLが、基礎となる未知のシステムとの有限数の相互作用において安定化ポリシーを学ぶことが保証されていることを示す。
論文 参考訳（メタデータ） (2022-06-03T17:27:04Z) - Sparsity in Partially Controllable Linear Systems [56.142264865866636]
本研究では, 部分制御可能な線形力学系について, 基礎となる空間パターンを用いて検討する。
最適制御には無関係な状態変数を特徴付ける。
論文 参考訳（メタデータ） (2021-10-12T16:41:47Z) - RL-Controller: a reinforcement learning framework for active structural
control [0.0]
フレキシブルでスケーラブルなシミュレーション環境であるRL-Controllerを導入することで,アクティブコントローラを設計するための新しいRLベースのアプローチを提案する。
提案するフレームワークは,5階建てのベンチマークビルディングに対して,平均65%の削減率で,容易に学習可能であることを示す。
LQG 能動制御法との比較研究において,提案したモデルフリーアルゴリズムはより最適なアクチュエータ強制戦略を学習することを示した。
論文 参考訳（メタデータ） (2021-03-13T04:42:13Z) - Closing the Closed-Loop Distribution Shift in Safe Imitation Learning [80.05727171757454]
模倣学習問題において,安全な最適化に基づく制御戦略を専門家として扱う。
我々は、実行時に安価に評価でき、専門家と同じ安全保証を確実に満足する学習されたポリシーを訓練する。
論文 参考訳（メタデータ） (2021-02-18T05:11:41Z) - Enforcing robust control guarantees within neural network policies [76.00287474159973]
本稿では、ニューラルネットワークによってパラメータ化され、ロバスト制御と同じ証明可能なロバスト性基準を適用した、一般的な非線形制御ポリシークラスを提案する。
提案手法は,複数の領域において有効であり,既存のロバスト制御法よりも平均ケース性能が向上し,(非ロバスト)深部RL法よりも最悪のケース安定性が向上した。
論文 参考訳（メタデータ） (2020-11-16T17:14:59Z) - Reinforcement Learning of Structured Control for Linear Systems with
Unknown State Matrix [0.0]
十分な安定性と性能保証と合わせて強化学習(RL)のアイデアを提示する。
このフレームワークによって実現される特別な制御構造は、多くの大規模サイバー物理システムで必要とされる分散学習制御である。
論文 参考訳（メタデータ） (2020-11-02T17:04:34Z) - Reinforcement Learning for Safety-Critical Control under Model
Uncertainty, using Control Lyapunov Functions and Control Barrier Functions [96.63967125746747]
強化学習フレームワークは、CBFおよびCLF制約に存在するモデル不確実性を学ぶ。
RL-CBF-CLF-QPは、安全制約におけるモデル不確実性の問題に対処する。
論文 参考訳（メタデータ） (2020-04-16T10:51:33Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。