論文の概要: Optimization of the Model Predictive Control Meta-Parameters Through Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2111.04146v1
• Date: Sun, 7 Nov 2021 18:33:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 17:52:06.716407
• Title: Optimization of the Model Predictive Control Meta-Parameters Through Reinforcement Learning
• Title（参考訳）: 強化学習によるモデル予測制御メタパラメータの最適化
• Authors: Eivind B{\o}hn, Sebastien Gros, Signe Moe, and Tor Arne Johansen
• Abstract要約: 強化学習(RL)を用いて制御アルゴリズムの任意のパラメータを協調的に調整できる新しいフレームワークを提案する。 我々は,倒立振子制御タスクの枠組みを実証し,制御システムの総時間を36%削減するとともに,最高性能のMPCベースラインよりも18.4%向上した。
• 参考スコア（独自算出の注目度）: 1.4069478981641936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model predictive control (MPC) is increasingly being considered for control of fast systems and embedded applications. However, the MPC has some significant challenges for such systems. Its high computational complexity results in high power consumption from the control algorithm, which could account for a significant share of the energy resources in battery-powered embedded systems. The MPC parameters must be tuned, which is largely a trial-and-error process that affects the control performance, the robustness and the computational complexity of the controller to a high degree. In this paper, we propose a novel framework in which any parameter of the control algorithm can be jointly tuned using reinforcement learning(RL), with the goal of simultaneously optimizing the control performance and the power usage of the control algorithm. We propose the novel idea of optimizing the meta-parameters of MPCwith RL, i.e. parameters affecting the structure of the MPCproblem as opposed to the solution to a given problem. Our control algorithm is based on an event-triggered MPC where we learn when the MPC should be re-computed, and a dual mode MPC and linear state feedback control law applied in between MPC computations. We formulate a novel mixture-distribution policy and show that with joint optimization we achieve improvements that do not present themselves when optimizing the same parameters in isolation. We demonstrate our framework on the inverted pendulum control task, reducing the total computation time of the control system by 36% while also improving the control performance by 18.4% over the best-performing MPC baseline.
• Abstract（参考訳）: モデル予測制御(MPC)は、高速システムと組み込みアプリケーションの制御のためにますます検討されている。 しかし、MPCにはそのようなシステムにいくつかの大きな課題がある。 その高い計算複雑性は、制御アルゴリズムからの高消費電力をもたらし、バッテリー駆動組込みシステムにおけるエネルギー資源のかなりの割合を占める可能性がある。 MPCパラメータは調整されなければならないが、これは主に制御性能、堅牢性、およびコントローラの計算複雑性に影響を及ぼす試行錯誤プロセスである。 本稿では,制御アルゴリズムの制御性能と消費電力を同時に最適化することを目的として,強化学習(RL)を用いて制御アルゴリズムのパラメータを協調的に調整できる新しいフレームワークを提案する。 本稿では,mpcプロブレムの構造に影響を与えるパラメータを,与えられた問題に対する解とは対照的に,mpcのメタパラメータをrlで最適化する新しいアイデアを提案する。 我々の制御アルゴリズムはイベントトリガーMPCに基づいており、MPCがいつ再コンパイルされるべきかを学習し、デュアルモードMPCと線形状態フィードバック制御法がMPC計算に適用される。 我々は,新しい混合分配政策を定式化し,共同最適化により,同じパラメータを独立に最適化する際に,自己に存在しない改善を実現することを示す。 倒立振子制御タスクの枠組みを実証し,制御系全体の計算時間を36%削減するとともに,最上位のmpcベースラインに対する制御性能を18.4%向上させた。

関連論文リスト

• Comparison of Model Predictive Control and Proximal Policy Optimization for a 1-DOF Helicopter System [0.7499722271664147]
  本研究は,Quanser Aero 2システムに適用された深層強化学習(DRL)アルゴリズムであるモデル予測制御(MPC)とPPOの比較分析を行う。 PPOは上昇時間と適応性に優れており、迅速な応答と適応性を必要とするアプリケーションには有望なアプローチである。
  論文  参考訳（メタデータ） (2024-08-28T08:35:34Z)
• Parameter-Adaptive Approximate MPC: Tuning Neural-Network Controllers without Retraining [50.00291020618743]
  この研究は、大規模なデータセットを再計算し、再トレーニングすることなくオンラインチューニングが可能な、新しいパラメータ適応型AMPCアーキテクチャを導入している。 資源制約の厳しいマイクロコントローラ(MCU)を用いた2種類の実カートポールシステムの揺らぎを制御し,パラメータ適応型AMPCの有効性を示す。 これらの貢献は、現実世界のシステムにおけるAMPCの実践的応用に向けた重要な一歩である。
  論文  参考訳（メタデータ） (2024-04-08T20:02:19Z)
• MPC-Inspired Reinforcement Learning for Verifiable Model-Free Control [5.9867297878688195]
  モデル予測制御(MPC)からインスピレーションを得た新しいパラメータ化コントローラを導入する。 コントローラは線形MPC問題の擬似プログラミング(QP)解法に似ており、コントローラのパラメータはDeep Reinforcement Learning(DRL)を介して訓練される。 提案したコントローラは, MPCに比べて計算効率が優れ, コントローラよりも学習するパラメータが少ない。
  論文  参考訳（メタデータ） (2023-12-08T19:33:22Z)
• An Automatic Tuning MPC with Application to Ecological Cruise Control [0.0]
  本稿では,MPCコントローラのオンライン自動チューニングへのアプローチと,エコロジークルーズ制御システムへの例を示す。 我々は、動的プログラミングを用いて、グローバルな燃費最小化問題をオフラインで解決し、対応するMPCコスト関数を求める。 これらのオフライン結果に適合したニューラルネットワークを用いて、オンライン操作中に所望のMPCコスト関数重みを生成する。
  論文  参考訳（メタデータ） (2023-09-17T19:49:47Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Policy Search for Model Predictive Control with Application to Agile Drone Flight [56.24908013905407]
  MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。 具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。 シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2021-12-07T17:39:24Z)
• Covert Model Poisoning Against Federated Learning: Algorithm Design and Optimization [76.51980153902774]
  フェデレーテッド・ラーニング(FL)はパラメータ伝達中にFLモデルに対する外部攻撃に対して脆弱である。 本稿では,最先端の防御アグリゲーション機構に対処する有効なMPアルゴリズムを提案する。 実験の結果,提案したCMPアルゴリズムは,既存の攻撃機構よりも効果的で,かなり優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T03:28:18Z)
• Optimization of the Model Predictive Control Update Interval Using Reinforcement Learning [0.7952582509792969]
  制御アプリケーションでは、コントローラの複雑さと性能に関して、しばしば妥協が必要である。 本稿では,制御対象に合わせて計算コストを明示的に最適化するコントローラアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-26T16:01:52Z)
• Heteroscedastic Bayesian Optimisation for Stochastic Model Predictive Control [23.180330602334223]
  モデル予測制御(MPC)は、複雑な物理システムの制御を含むアプリケーションで成功している。 制御器の動作のランダム性に起因した余分な課題を提示する,MPC のコンテキストにおける微調整 MPC 手法について検討する。
  論文  参考訳（メタデータ） (2020-10-01T05:31:41Z)
• Learning High-Level Policies for Model Predictive Control [54.00297896763184]
  Model Predictive Control (MPC)は、ロボット制御タスクに対する堅牢なソリューションを提供する。 ニューラルネットワークの高レベルポリシーを学習するための自己教師付き学習アルゴリズムを提案する。 提案手法は, 標準的なMPCでは困難な状況に対処できることを示す。
  論文  参考訳（メタデータ） (2020-07-20T17:12:34Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。