Fugu-MT 論文翻訳(概要): Steady-State Error Compensation in Reference Tracking and Disturbance Rejection Problems for Reinforcement Learning-Based Control

論文の概要: Steady-State Error Compensation in Reference Tracking and Disturbance Rejection Problems for Reinforcement Learning-Based Control

arxiv url: http://arxiv.org/abs/2201.13331v1
Date: Mon, 31 Jan 2022 16:29:19 GMT
ステータス: 処理完了
システム内更新日: 2022-02-01 19:55:59.715590
Title: Steady-State Error Compensation in Reference Tracking and Disturbance Rejection Problems for Reinforcement Learning-Based Control
Title（参考訳）: 強化学習に基づく制御のための参照追跡と外乱排除問題における定常誤差補償
Authors: Daniel Weber, Maximilian Schenke and Oliver Wallscheid
Abstract要約: 強化学習(Reinforcement Learning, RL)は、自動制御アプリケーションにおける将来的なトピックである。アクター批判に基づくRLコントローラのためのイニシアティブアクション状態拡張(IASA)が導入される。この拡張は専門家の知識を必要とせず、アプローチモデルを無償にしておく。
参考スコア（独自算出の注目度）: 0.9023847175654602
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement learning (RL) is a promising, upcoming topic in automatic control applications. Where classical control approaches require a priori system knowledge, data-driven control approaches like RL allow a model-free controller design procedure, rendering them emergent techniques for systems with changing plant structures and varying parameters. While it was already shown in various applications that the transient control behavior for complex systems can be sufficiently handled by RL, the challenge of non-vanishing steady-state control errors remains, which arises from the usage of control policy approximations and finite training times. To overcome this issue, an integral action state augmentation (IASA) for actor-critic-based RL controllers is introduced that mimics an integrating feedback, which is inspired by the delta-input formulation within model predictive control. This augmentation does not require any expert knowledge, leaving the approach model free. As a result, the RL controller learns how to suppress steady-state control deviations much more effectively. Two exemplary applications from the domain of electrical energy engineering validate the benefit of the developed method both for reference tracking and disturbance rejection. In comparison to a standard deep deterministic policy gradient (DDPG) setup, the suggested IASA extension allows to reduce the steady-state error by up to 52 $\%$ within the considered validation scenarios.
Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、自動制御アプリケーションにおける将来的なトピックである。古典的な制御アプローチでは、事前のシステム知識を必要とするが、RLのようなデータ駆動制御アプローチは、モデルフリーのコントローラ設計手順を許容し、植物構造やパラメータが変化するシステムの創発的なテクニックをレンダリングする。複雑なシステムに対する過渡的な制御挙動はRLによって十分に扱えることが、すでに様々な応用で示されているが、制御ポリシ近似や有限トレーニング時間の使用から生じる、非消滅定常制御誤差の課題は残っている。モデル予測制御におけるデルタインプットの定式化にインスパイアされた統合フィードバックを模倣したアクタクリティカルなRLコントローラのための統合アクション状態拡張(IASA)が導入された。この拡張は専門家の知識を必要とせず、アプローチモデルを無償にしておく。その結果、RLコントローラは、定常制御偏差をより効果的に抑制する方法を学ぶ。電気エネルギー工学領域からの2つの模範的な応用は、参照追跡と外乱拒否の両方のために開発された方法の利点を検証している。 DDPG(Deep Deterministic Policy gradient)の標準設定と比較すると、提案されたIASA拡張により、検討された検証シナリオ内での定常状態エラーを最大52$\%削減することができる。

関連論文リスト

Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
論文参考訳（メタデータ） (2024-04-05T17:58:37Z)
A Safe Reinforcement Learning Algorithm for Supervisory Control of Power Plants [7.1771300511732585]
モデルフリー強化学習(RL)は、制御タスクのための有望なソリューションとして登場した。本稿では,監督制御のための近似ポリシ最適化に基づく確率制約付きRLアルゴリズムを提案する。本手法は, 原子力プラント設計における負荷追従操作において, 違反距離と違反率の最小化を実現するものである。
論文参考訳（メタデータ） (2024-01-23T17:52:49Z)
Controllability-Constrained Deep Network Models for Enhanced Control of Dynamical Systems [4.948174943314265]
力学の知識を持たない力学系の制御は重要かつ困難な課題である。ディープニューラルネットワーク(DNN)のような現代の機械学習アプローチは、制御入力と対応する状態観測出力から動的モデルの推定を可能にする。制御性のあるデータから推定されるモデルを明確に拡張する制御理論法を提案する。
論文参考訳（メタデータ） (2023-11-11T00:04:26Z)
Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
論文参考訳（メタデータ） (2023-04-20T17:11:05Z)
Sparsity in Partially Controllable Linear Systems [56.142264865866636]
本研究では, 部分制御可能な線形力学系について, 基礎となる空間パターンを用いて検討する。最適制御には無関係な状態変数を特徴付ける。
論文参考訳（メタデータ） (2021-10-12T16:41:47Z)
Finite-time System Identification and Adaptive Control in Autoregressive Exogenous Systems [79.67879934935661]
未知のARXシステムのシステム識別と適応制御の問題について検討する。我々は,オープンループとクローズループの両方のデータ収集の下で,ARXシステムに対する有限時間学習保証を提供する。
論文参考訳（メタデータ） (2021-08-26T18:00:00Z)
Regret Analysis of Learning-Based MPC with Partially-Unknown Cost Function [5.601217969637838]
探索/探索のトレードオフは、データ駆動および適応制御において固有の課題である。本稿では、最適制御動作の基準として、全てのシステムパラメータの完全な知識を持つ有限水平オラクルコントローラを提案する。我々は,このオラクル有限ホライゾンコントローラに関して,低後悔を達成できる学習ベースのポリシーを開発する。
論文参考訳（メタデータ） (2021-08-04T22:43:51Z)
Regret-optimal Estimation and Control [52.28457815067461]
後悔最適推定器と後悔最適制御器は状態空間形式で導出可能であることを示す。非線形力学系に対するモデル予測制御(MPC)と拡張KalmanFilter(EKF)の残差最適類似性を提案する。
論文参考訳（メタデータ） (2021-06-22T23:14:21Z)
Residual Feedback Learning for Contact-Rich Manipulation Tasks with Uncertainty [22.276925045008788]
emphglsrplは強化学習(RL)で既存のコントローラを改善するための定式化を提供する位置・方向の不確実性を考慮したコンタクトリッチペグ挿入作業において,本手法の優れた性能を示す。
論文参考訳（メタデータ） (2021-06-08T13:06:35Z)
Reinforcement Learning for Thermostatically Controlled Loads Control using Modelica and Python [0.0]
このプロジェクトは、電力系統制御に強化学習(RL)を適用する機会を調査し、評価することを目的としている。 The proof of concept (PoC) was developed to voltage control of thermostatically controlled loads (TCLs) for power consumption using Modelica-based pipeline。本稿では,状態空間の離散化を含むQ-ラーニングパラメータが制御性能に与える影響について述べる。
論文参考訳（メタデータ） (2020-05-09T13:35:49Z)
Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting [91.43582419264763]
我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。 LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
論文参考訳（メタデータ） (2020-03-12T19:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。