論文の概要: Pontryagin Optimal Control via Neural Networks
- arxiv url: http://arxiv.org/abs/2212.14566v3
- Date: Mon, 15 Jan 2024 06:09:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 03:35:32.072265
- Title: Pontryagin Optimal Control via Neural Networks
- Title(参考訳): ニューラルネットワークによるポントリャーギン最適制御
- Authors: Chengyang Gu, Hui Xiong and Yize Chen
- Abstract要約: 我々は,ニューラルネットワークをポントリャーギンの最大原理(PMP)と統合し,NN-PMP-Gradient の効率的なフレームワークを提案する。
結果として生じるコントローラは、未知の複雑な力学を持つシステムに実装することができる。
モデルフリーおよびモデルベース強化学習(RL)アルゴリズムと比較して, NN-PMP-Gradientは, 制御目的の観点から高いサンプル効率と性能を実現する。
- 参考スコア(独自算出の注目度): 19.546571122359534
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Solving real-world optimal control problems are challenging tasks, as the
complex, high-dimensional system dynamics are usually unrevealed to the
decision maker. It is thus hard to find the optimal control actions
numerically. To deal with such modeling and computation challenges, in this
paper, we integrate Neural Networks with the Pontryagin's Maximum Principle
(PMP), and propose a sample efficient framework NN-PMP-Gradient. The resulting
controller can be implemented for systems with unknown and complex dynamics. By
taking an iterative approach, the proposed framework not only utilizes the
accurate surrogate models parameterized by neural networks, it also efficiently
recovers the optimality conditions along with the optimal action sequences via
PMP conditions. Numerical simulations on Linear Quadratic Regulator, energy
arbitrage of grid-connected lossy battery, control of single pendulum, and two
MuJoCo locomotion tasks demonstrate our proposed NN-PMP-Gradient is a general
and versatile computation tool for finding optimal solutions. And compared with
the widely applied model-free and model-based reinforcement learning (RL)
algorithms, our NN-PMP-Gradient achieves higher sample-efficiency and
performance in terms of control objectives.
- Abstract(参考訳): 現実の最適制御問題の解決は難しい作業であり、複雑で高次元のシステムダイナミクスは意思決定者には明らかにされない。
したがって、最適制御動作を数値的に見つけることは困難である。
このようなモデリングと計算の課題に対処するため,本論文では,ニューラルネットワークとpontryaginの最大原理(pmp)を統合し,nn-pmp-gradientのサンプル効率的なフレームワークを提案する。
結果として生じるコントローラは未知の複雑な力学を持つシステムに実装することができる。
提案手法は,ニューラルネットワークによってパラメータ化される精度の高いサロゲートモデルを利用するだけでなく,pmp条件による最適動作シーケンスとともに最適条件を効率的に回復する。
線形二次レギュレータの数値シミュレーション,グリッド接続型損失電池のエネルギー仲裁,単一振り子制御,および2つのMuJoCo移動タスクにより,提案したNN-PMP-Gradientは最適解を求める汎用的で汎用的な計算ツールであることを示す。
また, モデルフリーおよびモデルベース強化学習(RL)アルゴリズムと比較して, NN-PMP-Gradientは, 制御目的の観点から高いサンプル効率と性能を実現する。
関連論文リスト
- Model-Based Control with Sparse Neural Dynamics [23.961218902837807]
モデル学習と予測制御を統合した新しいフレームワークを提案する。
我々は,既存の最先端手法よりもクローズドループ性能を向上できることを示す。
論文 参考訳(メタデータ) (2023-12-20T06:25:02Z) - Active RIS-aided EH-NOMA Networks: A Deep Reinforcement Learning
Approach [66.53364438507208]
アクティブな再構成可能なインテリジェントサーフェス(RIS)支援マルチユーザダウンリンク通信システムについて検討した。
非直交多重アクセス(NOMA)はスペクトル効率を向上させるために使用され、活性RISはエネルギー回収(EH)によって駆動される。
ユーザの動的通信状態を予測するために,高度なLSTMベースのアルゴリズムを開発した。
増幅行列と位相シフト行列RISを結合制御するためにDDPGに基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-11T13:16:28Z) - Closed-form control with spike coding networks [1.1470070927586016]
スパイキングニューラルネットワーク(SNN)を用いた効率的かつ堅牢な制御は、依然として未解決の問題である。
スパイク符号化ネットワーク(SCN)の神経科学理論を,クローズドフォームの最適推定と制御を取り入れて拡張する。
模擬スプリング・マス・ダンパーおよびカート・ポールシステムのロバストなスパイク制御を実証した。
論文 参考訳(メタデータ) (2022-12-25T10:32:20Z) - Robust optimal well control using an adaptive multi-grid reinforcement
learning framework [0.0]
強化学習は、堅牢な最適ウェルコントロール問題を解決するための有望なツールである。
提案するフレームワークは、最先端のモデルフリーポリシーベースのRLアルゴリズムを用いて実証される。
計算効率の顕著な向上は,提案したフレームワークを用いて,1つのファイングリッドの計算コストの約60~70%を削減した。
論文 参考訳(メタデータ) (2022-07-07T12:08:57Z) - Real-time Neural-MPC: Deep Learning Model Predictive Control for
Quadrotors and Agile Robotic Platforms [59.03426963238452]
モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。
ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
論文 参考訳(メタデータ) (2022-03-15T09:38:15Z) - High-dimensional Bayesian Optimization Algorithm with Recurrent Neural
Network for Disease Control Models in Time Series [1.9371782627708491]
本稿では,リカレントニューラルネットワークを組み合わせた高次元ベイズ最適化アルゴリズムを提案する。
提案したRNN-BOアルゴリズムは,低次元空間における最適制御問題を解くことができる。
また、RNN層の異なる数の影響や、ソリューションの品質と関連する計算努力のトレードオフに対する訓練のエポックスについても論じる。
論文 参考訳(メタデータ) (2022-01-01T08:40:17Z) - Joint Deep Reinforcement Learning and Unfolding: Beam Selection and
Precoding for mmWave Multiuser MIMO with Lens Arrays [54.43962058166702]
離散レンズアレイを用いたミリ波マルチユーザマルチインプット多重出力(MU-MIMO)システムに注目が集まっている。
本研究では、DLA を用いた mmWave MU-MIMO システムのビームプリコーディング行列の共同設計について検討する。
論文 参考訳(メタデータ) (2021-01-05T03:55:04Z) - Data-Driven Random Access Optimization in Multi-Cell IoT Networks with
NOMA [78.60275748518589]
非直交多重アクセス(NOMA)は、5Gネットワーク以降で大規模なマシンタイプ通信(mMTC)を可能にする重要な技術です。
本稿では,高密度空間分散マルチセル無線IoTネットワークにおけるランダムアクセス効率向上のために,NOMAを適用した。
ユーザ期待容量の幾何学的平均を最大化するために,各IoTデバイスの伝送確率を調整したランダムチャネルアクセス管理の新たな定式化を提案する。
論文 参考訳(メタデータ) (2021-01-02T15:21:08Z) - Multi-Level Evolution Strategies for High-Resolution Black-Box Control [0.2320417845168326]
本稿では進化戦略(ES)にマルチレベル(m-lev)機構を導入する。
これは、決定変数の詳細な離散化の恩恵を受けることができる、グローバルな最適化問題のクラスに対処する。
論文 参考訳(メタデータ) (2020-10-04T09:24:40Z) - Learning High-Level Policies for Model Predictive Control [54.00297896763184]
Model Predictive Control (MPC)は、ロボット制御タスクに対する堅牢なソリューションを提供する。
ニューラルネットワークの高レベルポリシーを学習するための自己教師付き学習アルゴリズムを提案する。
提案手法は, 標準的なMPCでは困難な状況に対処できることを示す。
論文 参考訳(メタデータ) (2020-07-20T17:12:34Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳(メタデータ) (2020-06-15T02:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。