論文の概要: MPC-Inspired Reinforcement Learning for Verifiable Model-Free Control

• arxiv url: http://arxiv.org/abs/2312.05332v5
• Date: Tue, 9 Apr 2024 04:38:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 19:57:00.025092
• Title: MPC-Inspired Reinforcement Learning for Verifiable Model-Free Control
• Title（参考訳）: 検証可能なモデル自由制御のためのMPCによる強化学習
• Authors: Yiwen Lu, Zishuo Li, Yihan Zhou, Na Li, Yilin Mo,
• Abstract要約: モデル予測制御(MPC)からインスピレーションを得た新しいパラメータ化コントローラを導入する。 コントローラは線形MPC問題の擬似プログラミング(QP)解法に似ており、コントローラのパラメータはDeep Reinforcement Learning(DRL)を介して訓練される。 提案したコントローラは, MPCに比べて計算効率が優れ, コントローラよりも学習するパラメータが少ない。
• 参考スコア（独自算出の注目度）: 5.9867297878688195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce a new class of parameterized controllers, drawing inspiration from Model Predictive Control (MPC). The controller resembles a Quadratic Programming (QP) solver of a linear MPC problem, with the parameters of the controller being trained via Deep Reinforcement Learning (DRL) rather than derived from system models. This approach addresses the limitations of common controllers with Multi-Layer Perceptron (MLP) or other general neural network architecture used in DRL, in terms of verifiability and performance guarantees, and the learned controllers possess verifiable properties like persistent feasibility and asymptotic stability akin to MPC. On the other hand, numerical examples illustrate that the proposed controller empirically matches MPC and MLP controllers in terms of control performance and has superior robustness against modeling uncertainty and noises. Furthermore, the proposed controller is significantly more computationally efficient compared to MPC and requires fewer parameters to learn than MLP controllers. Real-world experiments on vehicle drift maneuvering task demonstrate the potential of these controllers for robotics and other demanding control tasks.
• Abstract（参考訳）: 本稿では,モデル予測制御(MPC)からインスピレーションを得た新しいパラメータ化コントローラについて紹介する。 コントローラは線形MPC問題の擬似プログラミング(QP)解法に似ており、コントローラのパラメータはシステムモデルから派生するのではなく、Deep Reinforcement Learning(DRL)を介して訓練されている。 このアプローチは、検証可能性と性能保証の観点から、MLP(Multi-Layer Perceptron)や他のDRLで使用される一般的なニューラルネットワークアーキテクチャによる共通コントローラの制限に対処し、学習したコントローラは、MPCに似た持続可能性や漸近安定性などの検証可能な特性を有する。 一方,MPC と MLP の制御性能は実演的に一致し,モデリングの不確実性やノイズに対する堅牢性に優れていた。 さらに,提案した制御器はMPCに比べて計算効率が優れ,MLP制御器よりも学習パラメータが少ない。 車両のドリフト操作タスクに関する実世界の実験は、ロボット工学や他の要求の高い制御タスクに対するこれらのコントローラの可能性を実証している。

関連論文リスト

• Parameter-Adaptive Approximate MPC: Tuning Neural-Network Controllers without Retraining [50.00291020618743]
  この研究は、大規模なデータセットを再計算し、再トレーニングすることなくオンラインチューニングが可能な、新しいパラメータ適応型AMPCアーキテクチャを導入している。 資源制約の厳しいマイクロコントローラ(MCU)を用いた2種類の実カートポールシステムの揺らぎを制御し,パラメータ適応型AMPCの有効性を示す。 これらの貢献は、現実世界のシステムにおけるAMPCの実践的応用に向けた重要な一歩である。
  論文  参考訳（メタデータ） (2024-04-08T20:02:19Z)
• Reinforcement Learning with Model Predictive Control for Highway Ramp Metering [14.389086937116582]
  この研究は、交通フロー管理を強化するためのモデルベースと学習ベースの戦略の相乗効果について考察する。 制御問題は、適切なステージコスト関数を作成することにより、RLタスクとして定式化される。 RLアルゴリズムの関数近似として MPC 最適問題を利用する MPC ベースの RL アプローチを提案し,オンランプの効率的な制御について検討した。
  論文  参考訳（メタデータ） (2023-11-15T09:50:54Z)
• Performance-Driven Controller Tuning via Derivative-Free Reinforcement Learning [6.5158195776494]
  我々は,新しい微分自由強化学習フレームワークを用いて,制御器のチューニング問題に取り組む。 我々は,PIDコントローラを用いた適応走行制御とMPCコントローラを用いた軌道追跡という,自律走行による2つの具体例に関する数値実験を行った。 実験の結果,提案手法は一般的なベースラインよりも優れており,コントローラチューニングの強い可能性を強調している。
  論文  参考訳（メタデータ） (2022-09-11T13:01:14Z)
• Improving the Performance of Robust Control through Event-Triggered Learning [74.57758188038375]
  LQR問題における不確実性に直面していつ学習するかを決定するイベントトリガー学習アルゴリズムを提案する。 本研究では,ロバストな制御器ベースライン上での性能向上を数値例で示す。
  論文  参考訳（メタデータ） (2022-07-28T17:36:37Z)
• Policy Search for Model Predictive Control with Application to Agile Drone Flight [56.24908013905407]
  MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。 具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。 シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2021-12-07T17:39:24Z)
• Optimization of the Model Predictive Control Meta-Parameters Through Reinforcement Learning [1.4069478981641936]
  強化学習(RL)を用いて制御アルゴリズムの任意のパラメータを協調的に調整できる新しいフレームワークを提案する。 我々は,倒立振子制御タスクの枠組みを実証し,制御システムの総時間を36%削減するとともに,最高性能のMPCベースラインよりも18.4%向上した。
  論文  参考訳（メタデータ） (2021-11-07T18:33:22Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)
• Deep Learning Explicit Differentiable Predictive Control Laws for Buildings [1.4121977037543585]
  未知の非線形システムに対する制約付き制御法を学習するための微分予測制御(DPC)手法を提案する。 DPCは、明示的非線形モデル予測制御(MPC)から生じるマルチパラメトリックプログラミング問題に対する近似解を提供する
  論文  参考訳（メタデータ） (2021-07-25T16:47:57Z)
• Imitation Learning from MPC for Quadrupedal Multi-Gait Control [63.617157490920505]
  本稿では,歩行ロボットの複数の歩行を模倣する単一ポリシーを学習する学習アルゴリズムを提案する。 モデル予測制御によって導かれる模擬学習のアプローチであるMPC-Netを使用し、拡張します。 ハードウェアに対する我々のアプローチを検証し、学習したポリシーが教師に取って代わって複数の歩留まりを制御できることを示します。
  論文  参考訳（メタデータ） (2021-03-26T08:48:53Z)
• Optimization of the Model Predictive Control Update Interval Using Reinforcement Learning [0.7952582509792969]
  制御アプリケーションでは、コントローラの複雑さと性能に関して、しばしば妥協が必要である。 本稿では,制御対象に合わせて計算コストを明示的に最適化するコントローラアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-26T16:01:52Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。