論文の概要: Comparison of Model Predictive Control and Proximal Policy Optimization for a 1-DOF Helicopter System

• arxiv url: http://arxiv.org/abs/2408.15633v1
• Date: Wed, 28 Aug 2024 08:35:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 16:43:13.077893
• Title: Comparison of Model Predictive Control and Proximal Policy Optimization for a 1-DOF Helicopter System
• Title（参考訳）: 1-DOFヘリコプタシステムにおけるモデル予測制御と近似ポリシ最適化の比較
• Authors: Georg Schäfer, Jakob Rehrl, Stefan Huber, Simon Hirlaender,
• Abstract要約: 本研究は,Quanser Aero 2システムに適用された深層強化学習(DRL)アルゴリズムであるモデル予測制御(MPC)とPPOの比較分析を行う。 PPOは上昇時間と適応性に優れており、迅速な応答と適応性を必要とするアプリケーションには有望なアプローチである。
• 参考スコア（独自算出の注目度）: 0.7499722271664147
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This study conducts a comparative analysis of Model Predictive Control (MPC) and Proximal Policy Optimization (PPO), a Deep Reinforcement Learning (DRL) algorithm, applied to a 1-Degree of Freedom (DOF) Quanser Aero 2 system. Classical control techniques such as MPC and Linear Quadratic Regulator (LQR) are widely used due to their theoretical foundation and practical effectiveness. However, with advancements in computational techniques and machine learning, DRL approaches like PPO have gained traction in solving optimal control problems through environment interaction. This paper systematically evaluates the dynamic response characteristics of PPO and MPC, comparing their performance, computational resource consumption, and implementation complexity. Experimental results show that while LQR achieves the best steady-state accuracy, PPO excels in rise-time and adaptability, making it a promising approach for applications requiring rapid response and adaptability. Additionally, we have established a baseline for future RL-related research on this specific testbed. We also discuss the strengths and limitations of each control strategy, providing recommendations for selecting appropriate controllers for real-world scenarios.
• Abstract（参考訳）: 本研究では, 1-Degree of Freedom (DOF) Quanser Aero 2システムに適用した, モデル予測制御(MPC)とPPO(Deep Reinforcement Learning, DRL)アルゴリズムの比較分析を行った。 MPCやLQR(Linear Quadratic Regulator)のような古典的な制御技術は理論的基礎と実用性から広く用いられている。 しかし、計算技術や機械学習の進歩により、PPOのようなDRLアプローチは環境相互作用による最適制御問題の解法に拍車をかけた。 本稿では,PPOとMPCの動的応答特性を系統的に評価し,その性能,計算資源消費,実装の複雑さを比較した。 実験の結果、LQRは最高の定常精度を達成するが、PPOは立ち上がり時間と適応性に優れており、迅速な応答と適応性を必要とするアプリケーションには有望なアプローチであることがわかった。 さらに,本試験場における今後のRL関連研究のベースラインを構築した。 また,各制御戦略の長所と短所についても論じ,現実のシナリオに対して適切なコントローラを選択するための推奨事項を提供する。

関連論文リスト

• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Surpassing legacy approaches to PWR core reload optimization with single-objective Reinforcement learning [0.0]
  単目的および多目的の最適化のための深層強化学習(DRL)に基づく手法を開発した。 本稿では、PPO(Proximal Policy Optimization)を用いて、RLに基づくアプローチの利点を実証する。 PPOは学習可能なウェイトを持つポリシーで検索機能を適応し、グローバル検索とローカル検索の両方として機能する。
  論文  参考訳（メタデータ） (2024-02-16T19:35:58Z)
• Data-efficient Deep Reinforcement Learning for Vehicle Trajectory Control [6.144517901919656]
  強化学習(RL)は、古典的なアプローチよりも優れた制御性能を達成することを約束する。 SAC(Soft-actor critic)のような標準RLアプローチでは、大量のトレーニングデータを収集する必要がある。 近年開発されたディープRL法を車両軌道制御に適用した。
  論文  参考訳（メタデータ） (2023-11-30T09:38:59Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• Robust optimal well control using an adaptive multi-grid reinforcement learning framework [0.0]
  強化学習は、堅牢な最適ウェルコントロール問題を解決するための有望なツールである。 提案するフレームワークは、最先端のモデルフリーポリシーベースのRLアルゴリズムを用いて実証される。 計算効率の顕著な向上は,提案したフレームワークを用いて,1つのファイングリッドの計算コストの約60～70%を削減した。
  論文  参考訳（メタデータ） (2022-07-07T12:08:57Z)
• Comparative analysis of machine learning methods for active flow control [60.53767050487434]
  遺伝的プログラミング(GP)と強化学習(RL)はフロー制御において人気を集めている。 この研究は2つの比較分析を行い、地球規模の最適化手法に対して最も代表的なアルゴリズムのいくつかをベンチマークする。
  論文  参考訳（メタデータ） (2022-02-23T18:11:19Z)
• Policy Search for Model Predictive Control with Application to Agile Drone Flight [56.24908013905407]
  MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。 具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。 シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2021-12-07T17:39:24Z)
• Model-predictive control and reinforcement learning in multi-energy system case studies [0.2810625954925815]
  線形モデル予測制御(LMPC)に対するオブジェクト指向・非政治多強化学習(RL)アプローチを提案する。 TD3) RL エージェントは, LMPC ベンチマーク (101.5%) にマッチし, 性能を上回る可能性が示唆された。 より複雑なMESシステム構成では、RLエージェントの性能は一般に低い(94.6%)が、現実のLMPCよりも優れている(88.9%)。
  論文  参考訳（メタデータ） (2021-04-20T06:51:50Z)
• MRAC-RL: A Framework for On-Line Policy Adaptation Under Parametric Model Uncertainty [0.34265828682659694]
  強化学習アルゴリズムは動的システムの制御ポリシーの開発に成功している。 本稿では,線形および非線形の幅広いシステムに適用可能な新しいMRACアルゴリズムを提案する。 MRAC-RLアプローチは制御ポリシの開発において最先端のRLアルゴリズムを改善することを実証する。
  論文  参考訳（メタデータ） (2020-11-20T18:55:53Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。