論文の概要: Deep Reinforcement Learning with Shallow Controllers: An Experimental
Application to PID Tuning
- arxiv url: http://arxiv.org/abs/2111.07171v1
- Date: Sat, 13 Nov 2021 18:48:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 17:32:34.890801
- Title: Deep Reinforcement Learning with Shallow Controllers: An Experimental
Application to PID Tuning
- Title（参考訳）: 浅層制御器を用いた深部強化学習:PIDチューニングへの実験的応用
- Authors: Nathan P. Lawrence, Michael G. Forbes, Philip D. Loewen, Daniel G.
McClement, Johan U. Backstrom, R. Bhushan Gopaluni
- Abstract要約: 実際の物理システム上での最先端RLアルゴリズムの実現における課題について述べる。
私たちのアプローチの核心は、トレーニング可能なRLポリシーとしてPIDコントローラを使用することです。
- 参考スコア（独自算出の注目度）: 3.9146761527401424
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep reinforcement learning (RL) is an optimization-driven framework for
producing control strategies for general dynamical systems without explicit
reliance on process models. Good results have been reported in simulation. Here
we demonstrate the challenges in implementing a state of the art deep RL
algorithm on a real physical system. Aspects include the interplay between
software and existing hardware; experiment design and sample efficiency;
training subject to input constraints; and interpretability of the algorithm
and control law. At the core of our approach is the use of a PID controller as
the trainable RL policy. In addition to its simplicity, this approach has
several appealing features: No additional hardware needs to be added to the
control system, since a PID controller can easily be implemented through a
standard programmable logic controller; the control law can easily be
initialized in a "safe'' region of the parameter space; and the final product
-- a well-tuned PID controller -- has a form that practitioners can reason
about and deploy with confidence.
- Abstract（参考訳）: deep reinforcement learning (rl) は、プロセスモデルに依存しない一般的な力学系の制御戦略を生成するための最適化駆動フレームワークである。
良い結果はシミュレーションで報告されている。
本稿では,実際の物理システム上での最先端RLアルゴリズムの実現における課題について述べる。
ソフトウェアと既存のハードウェア間の相互作用、実験設計とサンプル効率、入力制約の対象となるトレーニング、アルゴリズムと制御法則の解釈可能性などがある。
私たちのアプローチの核心は、トレーニング可能なRLポリシーとしてPIDコントローラを使用することです。
pidコントローラは標準的なプログラマブルなロジックコントローラで容易に実装できるため、コントロールシステムに追加のハードウェアを追加する必要はなく、制御法則はパラメータ空間の"safe"領域で容易に初期化できる。
関連論文リスト
- ReACT: Reinforcement Learning for Controller Parametrization using
B-Spline Geometries [0.0]
本研究は,N次元B-スプライン測地(BSG)を用いた深部強化学習(DRL)を用いた新しいアプローチを提案する。
本稿では,操作条件に依存する複雑な振る舞いを持つシステムのクラスであるパラメータ変量システムの制御に焦点をあてる。
多数の動作条件に依存するコントローラパラメータをマッピングするために,BSGを導入し,適応処理をより効率的にする。
論文 参考訳（メタデータ） (2024-01-10T16:27:30Z) - Performance-Driven Controller Tuning via Derivative-Free Reinforcement
Learning [6.5158195776494]
我々は,新しい微分自由強化学習フレームワークを用いて,制御器のチューニング問題に取り組む。
我々は,PIDコントローラを用いた適応走行制御とMPCコントローラを用いた軌道追跡という,自律走行による2つの具体例に関する数値実験を行った。
実験の結果,提案手法は一般的なベースラインよりも優れており,コントローラチューニングの強い可能性を強調している。
論文 参考訳（メタデータ） (2022-09-11T13:01:14Z) - Recursively Feasible Probabilistic Safe Online Learning with Control
Barrier Functions [63.18590014127461]
本稿では,CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
本研究では,ロバストな安全クリティカルコントローラの実現可能性について検討する。
次に、これらの条件を使って、イベントトリガーによるオンラインデータ収集戦略を考案します。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - Steady-State Error Compensation in Reference Tracking and Disturbance
Rejection Problems for Reinforcement Learning-Based Control [0.9023847175654602]
強化学習(Reinforcement Learning, RL)は、自動制御アプリケーションにおける将来的なトピックである。
アクター批判に基づくRLコントローラのためのイニシアティブアクション状態拡張(IASA)が導入される。
この拡張は専門家の知識を必要とせず、アプローチモデルを無償にしておく。
論文 参考訳（メタデータ） (2022-01-31T16:29:19Z) - Policy Search for Model Predictive Control with Application to Agile
Drone Flight [56.24908013905407]
MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。
具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。
シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
論文 参考訳（メタデータ） (2021-12-07T17:39:24Z) - Sparsity in Partially Controllable Linear Systems [56.142264865866636]
本研究では, 部分制御可能な線形力学系について, 基礎となる空間パターンを用いて検討する。
最適制御には無関係な状態変数を特徴付ける。
論文 参考訳（メタデータ） (2021-10-12T16:41:47Z) - Safety Verification of Model Based Reinforcement Learning Controllers [7.407039316561176]
本稿では,モデルベースRLコントローラのリーチブル・セット解析を用いた新しい安全性検証フレームワークを提案する。
提案したフレームワークは、ニューラルネットワークを用いて表現されるモデルとコントローラを効率的に扱うことができる。
論文 参考訳（メタデータ） (2020-10-21T03:35:28Z) - Learning a Contact-Adaptive Controller for Robust, Efficient Legged
Locomotion [95.1825179206694]
四足歩行ロボットのためのロバストコントローラを合成するフレームワークを提案する。
高レベルコントローラは、環境の変化に応じてプリミティブのセットを選択することを学習する。
確立された制御方法を使用してプリミティブを堅牢に実行する低レベルコントローラ。
論文 参考訳（メタデータ） (2020-09-21T16:49:26Z) - Optimal PID and Antiwindup Control Design as a Reinforcement Learning
Problem [3.131740922192114]
DRL制御法の解釈可能性に着目した。
特に、線形固定構造コントローラをアクター・クリティカル・フレームワークに埋め込まれた浅層ニューラルネットワークとみなす。
論文 参考訳（メタデータ） (2020-05-10T01:05:26Z) - Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot
Locomotion [78.46388769788405]
我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。
誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
論文 参考訳（メタデータ） (2020-02-22T10:15:53Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。