論文の概要: Reinforced Model Predictive Control via Trust-Region Quasi-Newton Policy Optimization

• arxiv url: http://arxiv.org/abs/2405.17983v2
• Date: Thu, 31 Oct 2024 08:46:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:56:12.841950
• Title: Reinforced Model Predictive Control via Trust-Region Quasi-Newton Policy Optimization
• Title（参考訳）: 信頼回帰準ニュートン政策最適化による強化モデル予測制御
• Authors: Dean Brandner, Sergio Lucia,
• Abstract要約: 超線形収束率を用いた政策最適化のための準ニュートン学習アルゴリズムを提案する。 シミュレーション研究は、提案したトレーニングアルゴリズムがデータ効率と精度で他のアルゴリズムより優れていることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Model predictive control can optimally deal with nonlinear systems under consideration of constraints. The control performance depends on the model accuracy and the prediction horizon. Recent advances propose to use reinforcement learning applied to a parameterized model predictive controller to recover the optimal control performance even if an imperfect model or short prediction horizons are used. However, common reinforcement learning algorithms rely on first order updates, which only have a linear convergence rate and hence need an excessive amount of dynamic data. Higher order updates are typically intractable if the policy is approximated with neural networks due to the large number of parameters. In this work, we use a parameterized model predictive controller as policy, and leverage the small amount of necessary parameters to propose a trust-region constrained Quasi-Newton training algorithm for policy optimization with a superlinear convergence rate. We show that the required second order derivative information can be calculated by the solution of a linear system of equations. A simulation study illustrates that the proposed training algorithm outperforms other algorithms in terms of data efficiency and accuracy.
• Abstract（参考訳）: モデル予測制御は制約を考慮した非線形系を最適に扱うことができる。 制御性能はモデル精度と予測地平線に依存する。 近年の進歩として,パラメータ化モデル予測コントローラに適用した強化学習を用いて,不完全なモデルや短い予測水平線を用いても最適制御性能を回復する手法が提案されている。 しかし、一般的な強化学習アルゴリズムは1次更新に依存しており、これは線形収束率のみを持ち、従って過度のダイナミックデータを必要とする。 高次更新は、多くのパラメータのために、ポリシーがニューラルネットワークに近似されている場合、典型的には難解である。 本研究では,パラメータ化モデル予測制御器をポリシとして使用し,必要パラメータの少なさを利用して,超線形収束率を持つポリシ最適化のための信頼領域制約準ニュートントレーニングアルゴリズムを提案する。 本稿では,方程式の線形系の解法により,必要な2階微分情報を計算可能であることを示す。 シミュレーション研究は、提案したトレーニングアルゴリズムがデータ効率と精度で他のアルゴリズムより優れていることを示している。

関連論文リスト

• Receding Hamiltonian-Informed Optimal Neural Control and State Estimation for Closed-Loop Dynamical Systems [4.05766189327054]
  Hamiltonian-Informed Optimal Neural (Hion) コントローラは、動的システムのためのニューラルネットワークベースの新しいクラスである。 ヒオンコントローラは将来の状態を推定し、ポントリャーギンの原理を用いて最適制御入力を計算する。
  論文  参考訳（メタデータ） (2024-11-02T16:06:29Z)
• Adaptive Sparse Gaussian Process [0.0]
  これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。 まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。 そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
  論文  参考訳（メタデータ） (2023-02-20T21:34:36Z)
• Data efficient reinforcement learning and adaptive optimal perimeter control of network traffic dynamics [0.0]
  本研究は、適応最適周波制御のためのマクロトラフィックダイナミクスの学習のための積分強化学習(IRL)に基づくアプローチを提案する。 サンプリングの複雑さを低減し、利用可能なデータをより効率的に利用するために、IRLアルゴリズムに経験再生(ER)技術を導入している。 IRLに基づくアルゴリズムの収束と制御された交通力学の安定性は、リャプノフ理論によって証明される。
  論文  参考訳（メタデータ） (2022-09-13T04:28:49Z)
• Learning to Refit for Convex Learning Problems [11.464758257681197]
  ニューラルネットワークを用いて、異なるトレーニングセットに対して最適化されたモデルパラメータを推定するフレームワークを提案する。 我々は、凸問題を近似するためにニューラルネットワークのパワーを厳格に特徴づける。
  論文  参考訳（メタデータ） (2021-11-24T15:28:50Z)
• Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
  シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。 本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。 より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
  論文  参考訳（メタデータ） (2021-05-25T19:48:35Z)
• Recurrent Model Predictive Control [19.047059454849897]
  一般非線形有限水平最適制御問題を解くために,リカレントモデル予測制御(RMPC)と呼ばれるオフラインアルゴリズムを提案する。 提案アルゴリズムは,システム状態と参照値を直接制御入力にマッピングする最適ポリシを近似するために,繰り返し関数を用いる。
  論文  参考訳（メタデータ） (2021-02-23T15:01:36Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Logarithmic Regret Bound in Partially Observable Linear Dynamical Systems [91.43582419264763]
  部分的に観測可能な線形力学系におけるシステム同定と適応制御の問題について検討する。 開ループ系と閉ループ系の両方において有限時間保証付きの最初のモデル推定法を提案する。 AdaptOnは、未知の部分観測可能な線形力学系の適応制御において、$textpolylogleft(Tright)$ regretを達成する最初のアルゴリズムであることを示す。
  論文  参考訳（メタデータ） (2020-03-25T06:00:33Z)
• Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting [91.43582419264763]
  我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。 LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
  論文  参考訳（メタデータ） (2020-03-12T19:56:38Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。