論文の概要: Optimization of the Model Predictive Control Meta-Parameters Through
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2111.04146v1
- Date: Sun, 7 Nov 2021 18:33:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-09 17:52:06.716407
- Title: Optimization of the Model Predictive Control Meta-Parameters Through
Reinforcement Learning
- Title(参考訳): 強化学習によるモデル予測制御メタパラメータの最適化
- Authors: Eivind B{\o}hn, Sebastien Gros, Signe Moe, and Tor Arne Johansen
- Abstract要約: 強化学習(RL)を用いて制御アルゴリズムの任意のパラメータを協調的に調整できる新しいフレームワークを提案する。
我々は,倒立振子制御タスクの枠組みを実証し,制御システムの総時間を36%削減するとともに,最高性能のMPCベースラインよりも18.4%向上した。
- 参考スコア(独自算出の注目度): 1.4069478981641936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model predictive control (MPC) is increasingly being considered for control
of fast systems and embedded applications. However, the MPC has some
significant challenges for such systems. Its high computational complexity
results in high power consumption from the control algorithm, which could
account for a significant share of the energy resources in battery-powered
embedded systems. The MPC parameters must be tuned, which is largely a
trial-and-error process that affects the control performance, the robustness
and the computational complexity of the controller to a high degree. In this
paper, we propose a novel framework in which any parameter of the control
algorithm can be jointly tuned using reinforcement learning(RL), with the goal
of simultaneously optimizing the control performance and the power usage of the
control algorithm. We propose the novel idea of optimizing the meta-parameters
of MPCwith RL, i.e. parameters affecting the structure of the MPCproblem as
opposed to the solution to a given problem. Our control algorithm is based on
an event-triggered MPC where we learn when the MPC should be re-computed, and a
dual mode MPC and linear state feedback control law applied in between MPC
computations. We formulate a novel mixture-distribution policy and show that
with joint optimization we achieve improvements that do not present themselves
when optimizing the same parameters in isolation. We demonstrate our framework
on the inverted pendulum control task, reducing the total computation time of
the control system by 36% while also improving the control performance by 18.4%
over the best-performing MPC baseline.
- Abstract(参考訳): モデル予測制御(MPC)は、高速システムと組み込みアプリケーションの制御のためにますます検討されている。
しかし、MPCにはそのようなシステムにいくつかの大きな課題がある。
その高い計算複雑性は、制御アルゴリズムからの高消費電力をもたらし、バッテリー駆動組込みシステムにおけるエネルギー資源のかなりの割合を占める可能性がある。
MPCパラメータは調整されなければならないが、これは主に制御性能、堅牢性、およびコントローラの計算複雑性に影響を及ぼす試行錯誤プロセスである。
本稿では,制御アルゴリズムの制御性能と消費電力を同時に最適化することを目的として,強化学習(RL)を用いて制御アルゴリズムのパラメータを協調的に調整できる新しいフレームワークを提案する。
本稿では,mpcプロブレムの構造に影響を与えるパラメータを,与えられた問題に対する解とは対照的に,mpcのメタパラメータをrlで最適化する新しいアイデアを提案する。
我々の制御アルゴリズムはイベントトリガーMPCに基づいており、MPCがいつ再コンパイルされるべきかを学習し、デュアルモードMPCと線形状態フィードバック制御法がMPC計算に適用される。
我々は,新しい混合分配政策を定式化し,共同最適化により,同じパラメータを独立に最適化する際に,自己に存在しない改善を実現することを示す。
倒立振子制御タスクの枠組みを実証し,制御系全体の計算時間を36%削減するとともに,最上位のmpcベースラインに対する制御性能を18.4%向上させた。
関連論文リスト
- Deployable Reinforcement Learning with Variable Control Rate [17.529703157304887]
可変制御率を持つ強化学習(RL)の変種を提案する。
このアプローチでは、ポリシーは、エージェントが取るべきアクションと、そのアクションに関連する時間ステップの期間を決定する。
ニュートンキネマティクスを用いたエージェントを駆動する概念実証シミュレーションによりSEACの有効性を示す。
論文 参考訳(メタデータ) (2024-01-17T15:40:11Z) - An Automatic Tuning MPC with Application to Ecological Cruise Control [0.0]
本稿では,MPCコントローラのオンライン自動チューニングへのアプローチと,エコロジークルーズ制御システムへの例を示す。
我々は、動的プログラミングを用いて、グローバルな燃費最小化問題をオフラインで解決し、対応するMPCコスト関数を求める。
これらのオフライン結果に適合したニューラルネットワークを用いて、オンライン操作中に所望のMPCコスト関数重みを生成する。
論文 参考訳(メタデータ) (2023-09-17T19:49:47Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳(メタデータ) (2022-03-26T20:37:14Z) - Policy Search for Model Predictive Control with Application to Agile
Drone Flight [56.24908013905407]
MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。
具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。
シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
論文 参考訳(メタデータ) (2021-12-07T17:39:24Z) - Covert Model Poisoning Against Federated Learning: Algorithm Design and
Optimization [76.51980153902774]
フェデレーテッド・ラーニング(FL)はパラメータ伝達中にFLモデルに対する外部攻撃に対して脆弱である。
本稿では,最先端の防御アグリゲーション機構に対処する有効なMPアルゴリズムを提案する。
実験の結果,提案したCMPアルゴリズムは,既存の攻撃機構よりも効果的で,かなり優れていることが示された。
論文 参考訳(メタデータ) (2021-01-28T03:28:18Z) - Blending MPC & Value Function Approximation for Efficient Reinforcement
Learning [42.429730406277315]
モデル予測制御(MPC)は、複雑な実世界のシステムを制御する強力なツールである。
モデルフリー強化学習(RL)によるMPC改善のためのフレームワークを提案する。
我々は,本手法がmpcに匹敵する性能と真のダイナミクスを両立できることを示す。
論文 参考訳(メタデータ) (2020-12-10T11:32:01Z) - Optimization of the Model Predictive Control Update Interval Using
Reinforcement Learning [0.7952582509792969]
制御アプリケーションでは、コントローラの複雑さと性能に関して、しばしば妥協が必要である。
本稿では,制御対象に合わせて計算コストを明示的に最適化するコントローラアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-11-26T16:01:52Z) - Heteroscedastic Bayesian Optimisation for Stochastic Model Predictive
Control [23.180330602334223]
モデル予測制御(MPC)は、複雑な物理システムの制御を含むアプリケーションで成功している。
制御器の動作のランダム性に起因した余分な課題を提示する,MPC のコンテキストにおける微調整 MPC 手法について検討する。
論文 参考訳(メタデータ) (2020-10-01T05:31:41Z) - Learning High-Level Policies for Model Predictive Control [54.00297896763184]
Model Predictive Control (MPC)は、ロボット制御タスクに対する堅牢なソリューションを提供する。
ニューラルネットワークの高レベルポリシーを学習するための自己教師付き学習アルゴリズムを提案する。
提案手法は, 標準的なMPCでは困難な状況に対処できることを示す。
論文 参考訳(メタデータ) (2020-07-20T17:12:34Z) - Adaptive Control and Regret Minimization in Linear Quadratic Gaussian
(LQG) Setting [91.43582419264763]
我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。
LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
論文 参考訳(メタデータ) (2020-03-12T19:56:38Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。