論文の概要: Optimisation of Structured Neural Controller Based on Continuous-Time
Policy Gradient
- arxiv url: http://arxiv.org/abs/2201.06262v1
- Date: Mon, 17 Jan 2022 08:06:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 18:57:22.831749
- Title: Optimisation of Structured Neural Controller Based on Continuous-Time
Policy Gradient
- Title(参考訳): 連続時間ポリシー勾配に基づく構造化ニューラルコントローラの最適化
- Authors: Namhoon Cho, Hyo-Sang Shin
- Abstract要約: 本研究では、連続時間(決定論的)動的システムの非線形構造制御のためのポリシー最適化フレームワークを提案する。
提案手法は、関連する科学的知識に基づいて、コントローラの構造を規定する。
航空宇宙応用に関する数値実験は、構造化非線形コントローラ最適化フレームワークの有用性を実証している。
- 参考スコア(独自算出の注目度): 2.297079626504224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study presents a policy optimisation framework for structured nonlinear
control of continuous-time (deterministic) dynamic systems. The proposed
approach prescribes a structure for the controller based on relevant scientific
knowledge (such as Lyapunov stability theory or domain experiences) while
considering the tunable elements inside the given structure as the point of
parametrisation with neural networks. To optimise a cost represented as a
function of the neural network weights, the proposed approach utilises the
continuous-time policy gradient method based on adjoint sensitivity analysis as
a means for correct and performant computation of cost gradient. This enables
combining the stability, robustness, and physical interpretability of an
analytically-derived structure for the feedback controller with the
representational flexibility and optimised resulting performance provided by
machine learning techniques. Such a hybrid paradigm for fixed-structure control
synthesis is particularly useful for optimising adaptive nonlinear controllers
to achieve improved performance in online operation, an area where the existing
theory prevails the design of structure while lacking clear analytical
understandings about tuning of the gains and the uncertainty model basis
functions that govern the performance characteristics. Numerical experiments on
aerospace applications illustrate the utility of the structured nonlinear
controller optimisation framework.
- Abstract(参考訳): 本研究では、連続時間(決定論的)動的システムの非線形構造制御のためのポリシー最適化フレームワークを提案する。
提案手法は、与えられた構造内の可変要素をニューラルネットワークとのパラメトリゼーションのポイントとして考慮しながら、関連する科学的知識(リアプノフ安定理論やドメイン経験など)に基づく制御器の構造を規定する。
ニューラルネットワーク重みの関数として表されるコストを最適化するため, 提案手法では, コスト勾配の正確かつ実効的な計算方法として, 随伴感度解析に基づく連続時間ポリシー勾配法を利用する。
これにより、フィードバックコントローラに対する解析的由来の構造の安定性、堅牢性、物理的解釈性と表現的柔軟性を組み合わせ、機械学習技術によって提供される結果のパフォーマンスを最適化することができる。
このような固定構造制御合成のハイブリッドパラダイムは、オンライン操作の性能向上のために適応非線形コントローラの最適化に特に有用であり、既存の理論が構造設計に先行する分野であり、ゲインのチューニングに関する明確な解析的理解や性能特性を管理する不確実性モデル基底関数を欠いている。
航空宇宙応用に関する数値実験は、構造化非線形コントローラ最適化フレームワークの有用性を実証している。
関連論文リスト
- A Passivity-Based Method for Accelerated Convex Optimisation [2.297079626504224]
本研究では,連続時間領域における加速凸最適化アルゴリズムの設計手法を提案する。
2つの鍵となるイネーブルは、制御理論における古典的な通過性の概念と変数の時間依存的な変化である。
論文 参考訳(メタデータ) (2023-06-20T11:54:36Z) - Introduction to Online Nonstochastic Control [65.18774760752588]
オンラインの非確率制御では、コスト関数と仮定された力学モデルからの摂動の両方が敵によって選択される。
目標は、ベンチマーククラスの政策から見て、最高の政策に対して低い後悔を得ることだ。
論文 参考訳(メタデータ) (2022-11-17T16:12:45Z) - Sparsity in Partially Controllable Linear Systems [56.142264865866636]
本研究では, 部分制御可能な線形力学系について, 基礎となる空間パターンを用いて検討する。
最適制御には無関係な状態変数を特徴付ける。
論文 参考訳(メタデータ) (2021-10-12T16:41:47Z) - A Theoretical Overview of Neural Contraction Metrics for Learning-based
Control with Guaranteed Stability [7.963506386866862]
本稿では,最適縮尺と対応する微分リャプノフ関数のニューラルネットワークモデルを提案する。
そのイノベーションは、学習ベースの制御フレームワークに対して、正式な堅牢性を保証することである。
論文 参考訳(メタデータ) (2021-10-02T00:28:49Z) - Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。
本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。
より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
論文 参考訳(メタデータ) (2021-05-25T19:48:35Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳(メタデータ) (2021-05-17T08:36:18Z) - Learning-based Adaptive Control via Contraction Theory [7.918886297003018]
パラメトリック不確実性を有する非線形システムのための新しいディープラーニングに基づく適応制御フレームワーク、Adaptive Neural Contraction Metric (aNCM) を提案する。
aNCMは、不確実性の下でシステムの軌道の安定性と指数有界性を保証する最適適応収縮メトリックのニューラルネットワークモデルを使用する。
論文 参考訳(メタデータ) (2021-03-04T12:19:52Z) - COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。
我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。
従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
論文 参考訳(メタデータ) (2021-02-16T18:50:32Z) - Gaussian Process-based Min-norm Stabilizing Controller for
Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。
この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
論文 参考訳(メタデータ) (2020-11-14T01:27:32Z) - Imposing Robust Structured Control Constraint on Reinforcement Learning
of Linear Quadratic Regulator [0.0]
本稿では,分散学習制御の手法を編み出した汎用構造の設計について述べる。
方法論の開発には、強化学習(RL)と制御理論による十分な安定性と性能保証を併用した考え方を用いる。
6エージェントのマルチエージェントネットワーク上でのシミュレーションによる理論的結果の検証を行った。
論文 参考訳(メタデータ) (2020-11-12T00:31:39Z) - Reinforcement Learning of Structured Control for Linear Systems with
Unknown State Matrix [0.0]
十分な安定性と性能保証と合わせて強化学習(RL)のアイデアを提示する。
このフレームワークによって実現される特別な制御構造は、多くの大規模サイバー物理システムで必要とされる分散学習制御である。
論文 参考訳(メタデータ) (2020-11-02T17:04:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。