論文の概要: Optimization of the Model Predictive Control Update Interval Using Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2011.13365v1
• Date: Thu, 26 Nov 2020 16:01:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 12:42:53.985570
• Title: Optimization of the Model Predictive Control Update Interval Using Reinforcement Learning
• Title（参考訳）: 強化学習を用いたモデル予測制御更新間隔の最適化
• Authors: Eivind B{\o}hn, Sebastien Gros, Signe Moe, Tor Arne Johansen
• Abstract要約: 制御アプリケーションでは、コントローラの複雑さと性能に関して、しばしば妥協が必要である。 本稿では,制御対象に合わせて計算コストを明示的に最適化するコントローラアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.7952582509792969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In control applications there is often a compromise that needs to be made with regards to the complexity and performance of the controller and the computational resources that are available. For instance, the typical hardware platform in embedded control applications is a microcontroller with limited memory and processing power, and for battery powered applications the control system can account for a significant portion of the energy consumption. We propose a controller architecture in which the computational cost is explicitly optimized along with the control objective. This is achieved by a three-part architecture where a high-level, computationally expensive controller generates plans, which a computationally simpler controller executes by compensating for prediction errors, while a recomputation policy decides when the plan should be recomputed. In this paper, we employ model predictive control (MPC) as the high-level plan-generating controller, a linear state feedback controller as the simpler compensating controller, and reinforcement learning (RL) to learn the recomputation policy. Simulation results for two examples showcase the architecture's ability to improve upon the MPC approach and find reasonable compromises weighing the performance on the control objective and the computational resources expended.
• Abstract（参考訳）: 制御アプリケーションでは、コントローラの複雑さと性能と利用可能な計算資源に関して、しばしば妥協が必要である。 例えば、組み込み制御アプリケーションにおける典型的なハードウェアプラットフォームは、メモリと処理能力に制限があるマイクロコントローラであり、バッテリー駆動アプリケーションでは、制御システムはエネルギー消費のかなりの部分を占めることができる。 本稿では,制御対象に合わせて計算コストを明示的に最適化するコントローラアーキテクチャを提案する。 これは高レベルで計算コストのかかるコントローラが計画を生成する3部構成で実現され、計算的にシンプルなコントローラは予測エラーを補償して実行され、再計算ポリシーは計画の再計算をいつ行うかを決定する。 本稿では,高レベルの計画生成コントローラとしてモデル予測制御(MPC),簡易な補償コントローラとして線形状態フィードバック制御,再計算ポリシーを学ぶために強化学習(RL)を用いる。 2つの例のシミュレーション結果は、MPCアプローチを改善するアーキテクチャの能力を示し、制御目的と拡張された計算資源の性能を測る合理的な妥協を見出す。

関連論文リスト

• Goal-Conditioned Terminal Value Estimation for Real-time and Multi-task Model Predictive Control [1.2687745030755995]
  マルチタスクポリシー最適化を実現するために,目標条件付き端末値学習を用いたMPCフレームワークを開発した。 提案手法を2足歩行逆振りロボットモデルで評価し,目標条件付き終端値学習と上層軌道プランナーを組み合わせることで,リアルタイムに制御できることを確認する。
  論文  参考訳（メタデータ） (2024-10-07T11:19:23Z)
• Deployable Reinforcement Learning with Variable Control Rate [14.838483990647697]
  可変制御率を持つ強化学習(RL)の変種を提案する。 このアプローチでは、ポリシーは、エージェントが取るべきアクションと、そのアクションに関連する時間ステップの期間を決定する。 ニュートンキネマティクスを用いたエージェントを駆動する概念実証シミュレーションによりSEACの有効性を示す。
  論文  参考訳（メタデータ） (2024-01-17T15:40:11Z)
• MPC-Inspired Reinforcement Learning for Verifiable Model-Free Control [5.9867297878688195]
  モデル予測制御(MPC)からインスピレーションを得た新しいパラメータ化コントローラを導入する。 コントローラは線形MPC問題の擬似プログラミング(QP)解法に似ており、コントローラのパラメータはDeep Reinforcement Learning(DRL)を介して訓練される。 提案したコントローラは, MPCに比べて計算効率が優れ, コントローラよりも学習するパラメータが少ない。
  論文  参考訳（メタデータ） (2023-12-08T19:33:22Z)
• A Dynamic Feedforward Control Strategy for Energy-efficient Building System Operation [59.56144813928478]
  現在の制御戦略と最適化アルゴリズムでは、そのほとんどはリアルタイムフィードバックから情報を受け取ることに依存している。 本稿では,システム制御のためのシステム特性を同時に構築することによる,ダイナミックな事前知識を組み込む,エンジニアフレンドリな制御戦略フレームワークを提案する。 典型的な制御戦略でシステム制御を加熱するケースでテストしたところ、我々のフレームワークは15%の省エネ性を持っていることがわかった。
  論文  参考訳（メタデータ） (2023-01-23T09:07:07Z)
• Steady-State Error Compensation in Reference Tracking and Disturbance Rejection Problems for Reinforcement Learning-Based Control [0.9023847175654602]
  強化学習(Reinforcement Learning, RL)は、自動制御アプリケーションにおける将来的なトピックである。 アクター批判に基づくRLコントローラのためのイニシアティブアクション状態拡張(IASA)が導入される。 この拡張は専門家の知識を必要とせず、アプローチモデルを無償にしておく。
  論文  参考訳（メタデータ） (2022-01-31T16:29:19Z)
• Policy Search for Model Predictive Control with Application to Agile Drone Flight [56.24908013905407]
  MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。 具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。 シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2021-12-07T17:39:24Z)
• Optimization of the Model Predictive Control Meta-Parameters Through Reinforcement Learning [1.4069478981641936]
  強化学習(RL)を用いて制御アルゴリズムの任意のパラメータを協調的に調整できる新しいフレームワークを提案する。 我々は,倒立振子制御タスクの枠組みを実証し,制御システムの総時間を36%削減するとともに,最高性能のMPCベースラインよりも18.4%向上した。
  論文  参考訳（メタデータ） (2021-11-07T18:33:22Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)
• Regret-optimal Estimation and Control [52.28457815067461]
  後悔最適推定器と後悔最適制御器は状態空間形式で導出可能であることを示す。 非線形力学系に対するモデル予測制御(MPC)と拡張KalmanFilter(EKF)の残差最適類似性を提案する。
  論文  参考訳（メタデータ） (2021-06-22T23:14:21Z)
• Learning a Contact-Adaptive Controller for Robust, Efficient Legged Locomotion [95.1825179206694]
  四足歩行ロボットのためのロバストコントローラを合成するフレームワークを提案する。 高レベルコントローラは、環境の変化に応じてプリミティブのセットを選択することを学習する。 確立された制御方法を使用してプリミティブを堅牢に実行する低レベルコントローラ。
  論文  参考訳（メタデータ） (2020-09-21T16:49:26Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。