論文の概要: Reinforcement Learning of Structured Control for Linear Systems with
Unknown State Matrix
- arxiv url: http://arxiv.org/abs/2011.01128v1
- Date: Mon, 2 Nov 2020 17:04:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-09-30 13:17:59.972235
- Title: Reinforcement Learning of Structured Control for Linear Systems with
Unknown State Matrix
- Title（参考訳）: 未知状態行列を持つ線形系の構造制御の強化学習
- Authors: Sayak Mukherjee, Thanh Long Vu
- Abstract要約: 十分な安定性と性能保証と合わせて強化学習(RL)のアイデアを提示する。
このフレームワークによって実現される特別な制御構造は、多くの大規模サイバー物理システムで必要とされる分散学習制御である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper delves into designing stabilizing feedback control gains for
continuous linear systems with unknown state matrix, in which the control is
subject to a general structural constraint. We bring forth the ideas from
reinforcement learning (RL) in conjunction with sufficient stability and
performance guarantees in order to design these structured gains using the
trajectory measurements of states and controls. We first formulate a
model-based framework using dynamic programming (DP) to embed the structural
constraint to the Linear Quadratic Regulator (LQR) gain computation in the
continuous-time setting. Subsequently, we transform this LQR formulation into a
policy iteration RL algorithm that can alleviate the requirement of known state
matrix in conjunction with maintaining the feedback gain structure. Theoretical
guarantees are provided for stability and convergence of the structured RL
(SRL) algorithm. The introduced RL framework is general and can be applied to
any control structure. A special control structure enabled by this RL framework
is distributed learning control which is necessary for many large-scale
cyber-physical systems. As such, we validate our theoretical results with
numerical simulations on a multi-agent networked linear time-invariant (LTI)
dynamic system.
- Abstract（参考訳）: 本稿では,制御が一般的な構造制約を受けるような未知の状態行列を持つ連続線形系の安定化フィードバック制御ゲインを設計する。
我々は,強化学習(rl)のアイデアを十分な安定性と性能保証とともに提示し,状態と制御の軌跡測定を用いて構造化ゲインを設計する。
まず,動的プログラミング(dp)を用いたモデルベースフレームワークを定式化し,線形二次レギュレータ(lqr)ゲイン計算に構造制約を埋め込む。
その後、このLQR定式化をポリシー反復RLアルゴリズムに変換し、フィードバックゲイン構造を維持しながら、既知の状態行列の要求を緩和する。
理論的保証は、構造化RL(SRL)アルゴリズムの安定性と収束のために提供される。
導入されたRLフレームワークは一般的なもので、任意の制御構造に適用できる。
このフレームワークによって実現される特別な制御構造は、多くの大規模サイバー物理システムに必要な分散学習制御である。
そこで我々は,マルチエージェントネットワーク型線形時間不変系(LTI)の数値シミュレーションにより理論的結果を検証する。
関連論文リスト
- Model-based controller assisted domain randomization in deep reinforcement learning: application to nonlinear powertrain control [0.0]
本研究では, 深部強化学習(DRL)の枠組みを用いた新しいロバスト制御手法を提案する。
問題設定は、不確実性と非線形性を考慮した制御系に対して、バニラMDPの集合である潜在マルコフ決定プロセス(LMDP)を介してモデル化される。
従来のDRLベースの制御と比較して、提案するコントローラ設計はより賢く、高度な一般化能力を実現することができる。
論文 参考訳（メタデータ） (2025-04-28T12:09:07Z) - Stable Modular Control via Contraction Theory for Reinforcement Learning [8.742125999252366]
本稿では,制御技術と強化学習(RL)を融合して,安定性,堅牢性,一般化を実現する新しい手法を提案する。
我々は信号合成と動的分解によりそのようなモジュラリティを実現する。
論文 参考訳（メタデータ） (2023-11-07T02:41:02Z) - Sparsity in Partially Controllable Linear Systems [56.142264865866636]
本研究では, 部分制御可能な線形力学系について, 基礎となる空間パターンを用いて検討する。
最適制御には無関係な状態変数を特徴付ける。
論文 参考訳（メタデータ） (2021-10-12T16:41:47Z) - Stable Online Control of Linear Time-Varying Systems [49.41696101740271]
COCO-LQは、大規模なLTVシステムの入出力安定性を保証する効率的なオンライン制御アルゴリズムである。
COCO-LQの性能を実証実験とパワーシステム周波数制御の両例で実証した。
論文 参考訳（メタデータ） (2021-04-29T06:18:49Z) - RL-Controller: a reinforcement learning framework for active structural
control [0.0]
フレキシブルでスケーラブルなシミュレーション環境であるRL-Controllerを導入することで,アクティブコントローラを設計するための新しいRLベースのアプローチを提案する。
提案するフレームワークは,5階建てのベンチマークビルディングに対して,平均65%の削減率で,容易に学習可能であることを示す。
LQG 能動制御法との比較研究において,提案したモデルフリーアルゴリズムはより最適なアクチュエータ強制戦略を学習することを示した。
論文 参考訳（メタデータ） (2021-03-13T04:42:13Z) - Gaussian Process-based Min-norm Stabilizing Controller for
Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。
この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
論文 参考訳（メタデータ） (2020-11-14T01:27:32Z) - Imposing Robust Structured Control Constraint on Reinforcement Learning
of Linear Quadratic Regulator [0.0]
本稿では,分散学習制御の手法を編み出した汎用構造の設計について述べる。
方法論の開発には、強化学習(RL)と制御理論による十分な安定性と性能保証を併用した考え方を用いる。
6エージェントのマルチエージェントネットワーク上でのシミュレーションによる理論的結果の検証を行った。
論文 参考訳（メタデータ） (2020-11-12T00:31:39Z) - Reduced-Dimensional Reinforcement Learning Control using Singular
Perturbation Approximations [9.136645265350284]
本稿では,線形時間不変特異摂動(SP)システムに対するモデルフリー,低次元強化学習に基づく最適制御設計を提案する。
まず、未知の状態と入力行列を持つ汎用SPシステムに対して、状態フィードバックと出力フィードバックに基づくRL制御設計を提案する。
両設計をクラスタ化マルチエージェントコンセンサスネットワークに拡張し,SP特性をクラスタリングにより反映する。
論文 参考訳（メタデータ） (2020-04-29T22:15:54Z) - Adaptive Control and Regret Minimization in Linear Quadratic Gaussian
(LQG) Setting [91.43582419264763]
我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。
LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
論文 参考訳（メタデータ） (2020-03-12T19:56:38Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2019-12-31T00:29:22Z) - Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。
このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
論文 参考訳（メタデータ） (2019-02-02T20:09:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。