論文の概要: Bridging the Gaps: Learning Verifiable Model-Free Quadratic Programming
Controllers Inspired by Model Predictive Control
- arxiv url: http://arxiv.org/abs/2312.05332v4
- Date: Sat, 3 Feb 2024 11:32:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 03:43:29.953973
- Title: Bridging the Gaps: Learning Verifiable Model-Free Quadratic Programming
Controllers Inspired by Model Predictive Control
- Title(参考訳): ギャップのブリッジ:モデル予測制御にインスパイアされた検証可能なモデルフリー二次プログラミングコントローラ
- Authors: Yiwen Lu, Zishuo Li, Yihan Zhou, Na Li, Yilin Mo
- Abstract要約: モデル予測制御(MPC)からインスピレーションを得た新しいパラメータ化コントローラを導入する。
コントローラは線形MPC問題の擬似プログラミング(QP)解法に似ており、コントローラのパラメータはDeep Reinforcement Learning(DRL)を介して訓練される。
提案したコントローラは, MPCに比べて計算効率が優れ, コントローラよりも学習するパラメータが少ない。
- 参考スコア(独自算出の注目度): 6.422838831285923
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce a new class of parameterized controllers, drawing
inspiration from Model Predictive Control (MPC). The controller resembles a
Quadratic Programming (QP) solver of a linear MPC problem, with the parameters
of the controller being trained via Deep Reinforcement Learning (DRL) rather
than derived from system models. This approach addresses the limitations of
common controllers with Multi-Layer Perceptron (MLP) or other general neural
network architecture used in DRL, in terms of verifiability and performance
guarantees, and the learned controllers possess verifiable properties like
persistent feasibility and asymptotic stability akin to MPC. On the other hand,
numerical examples illustrate that the proposed controller empirically matches
MPC and MLP controllers in terms of control performance and has superior
robustness against modeling uncertainty and noises. Furthermore, the proposed
controller is significantly more computationally efficient compared to MPC and
requires fewer parameters to learn than MLP controllers. Real-world experiments
on vehicle drift maneuvering task demonstrate the potential of these
controllers for robotics and other demanding control tasks.
- Abstract(参考訳): 本稿では,モデル予測制御(MPC)からインスピレーションを得た新しいパラメータ化コントローラについて紹介する。
コントローラは線形MPC問題の擬似プログラミング(QP)解法に似ており、コントローラのパラメータはシステムモデルから派生するのではなく、Deep Reinforcement Learning(DRL)を介して訓練されている。
このアプローチは、多層パーセプトロン(MLP)や他のDRLで使用される一般的なニューラルネットワークアーキテクチャによる共通コントローラの制限を、検証性と性能保証の観点から解決し、学習したコントローラは、MPCに似た持続可能性や漸近安定性などの検証可能な特性を有する。
一方,提案するコントローラは,制御性能の面ではmpcやmlpコントローラと実証的に一致し,モデリングの不確かさやノイズに対して優れたロバスト性を有することを示す数値例がある。
さらに,提案した制御器はMPCに比べて計算効率が良く,MLP制御器よりも学習パラメータが少ない。
車両のドリフト操作タスクに関する実世界実験は、ロボットやその他の必要な制御タスクにおけるこれらのコントローラーの可能性を示しています。
関連論文リスト
- End-to-End Reinforcement Learning of Koopman Models for Economic
Nonlinear Model Predictive Control [50.0791489606211]
非線形モデル予測制御((e)NMPC)は、すべての状態空間領域において十分正確なシステムモデルを必要とする。
メカニスティックモデルのためのデータ駆動サロゲートモデルは、(e)NMPCの計算負担を軽減するために使用できる。
In this method for end-to-end reinforcement learning of dynamic surrogate model for optimal performance in (e)NMPC applications。
論文 参考訳(メタデータ) (2023-08-03T10:21:53Z) - Smooth Model Predictive Control with Applications to Statistical
Learning [19.06936620903542]
本稿では,制約をバリア関数に置き換える線形モデル予測制御(MPC)のスムーズな近似について検討する。
特に、障壁MPCは、元の非滑らかなMPCポリシーの指数的安定性特性を継承することを示す。
論文 参考訳(メタデータ) (2023-06-02T20:43:38Z) - Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。
元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。
我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文 参考訳(メタデータ) (2023-02-08T07:37:51Z) - Performance-Driven Controller Tuning via Derivative-Free Reinforcement
Learning [6.5158195776494]
我々は,新しい微分自由強化学習フレームワークを用いて,制御器のチューニング問題に取り組む。
我々は,PIDコントローラを用いた適応走行制御とMPCコントローラを用いた軌道追跡という,自律走行による2つの具体例に関する数値実験を行った。
実験の結果,提案手法は一般的なベースラインよりも優れており,コントローラチューニングの強い可能性を強調している。
論文 参考訳(メタデータ) (2022-09-11T13:01:14Z) - Improving the Performance of Robust Control through Event-Triggered
Learning [74.57758188038375]
LQR問題における不確実性に直面していつ学習するかを決定するイベントトリガー学習アルゴリズムを提案する。
本研究では,ロバストな制御器ベースライン上での性能向上を数値例で示す。
論文 参考訳(メタデータ) (2022-07-28T17:36:37Z) - Policy Search for Model Predictive Control with Application to Agile
Drone Flight [56.24908013905407]
MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。
具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。
シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
論文 参考訳(メタデータ) (2021-12-07T17:39:24Z) - Deep Reinforcement Learning with Shallow Controllers: An Experimental
Application to PID Tuning [3.9146761527401424]
実際の物理システム上での最先端RLアルゴリズムの実現における課題について述べる。
私たちのアプローチの核心は、トレーニング可能なRLポリシーとしてPIDコントローラを使用することです。
論文 参考訳(メタデータ) (2021-11-13T18:48:28Z) - Evaluating model-based planning and planner amortization for continuous
control [79.49319308600228]
我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。
モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。
モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
論文 参考訳(メタデータ) (2021-10-07T12:00:40Z) - Deep Learning Explicit Differentiable Predictive Control Laws for
Buildings [1.4121977037543585]
未知の非線形システムに対する制約付き制御法を学習するための微分予測制御(DPC)手法を提案する。
DPCは、明示的非線形モデル予測制御(MPC)から生じるマルチパラメトリックプログラミング問題に対する近似解を提供する
論文 参考訳(メタデータ) (2021-07-25T16:47:57Z) - Optimization of the Model Predictive Control Update Interval Using
Reinforcement Learning [0.7952582509792969]
制御アプリケーションでは、コントローラの複雑さと性能に関して、しばしば妥協が必要である。
本稿では,制御対象に合わせて計算コストを明示的に最適化するコントローラアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-11-26T16:01:52Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。