論文の概要: Improving a Proportional Integral Controller with Reinforcement Learning on a Throttle Valve Benchmark

• arxiv url: http://arxiv.org/abs/2402.13654v1
• Date: Wed, 21 Feb 2024 09:40:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 16:09:01.905040
• Title: Improving a Proportional Integral Controller with Reinforcement Learning on a Throttle Valve Benchmark
• Title（参考訳）: スロットル弁ベンチマークによる強化学習による比例積分制御の改善
• Authors: Paul Daoudi, Bojan Mavkov, Bogdan Robu, Christophe Prieur, Emmanuel Witrant, Merwan Barlier and Ludovic Dos Santos
• Abstract要約: 本稿では,非対称制御器を用いた非線形スロットル弁の学習制御手法を提案する。 我々は近年の強化学習とガイドの進歩を活用し、弁との付加的な相互作用から学習することで閉ループ動作を改善する。 すべての試験ケースにおいて、結果のエージェントは従来のRLエージェントよりもサンプリング効率が良く、PIコントローラよりも優れています。
• 参考スコア（独自算出の注目度）: 2.974235808849023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a learning-based control strategy for non-linear throttle valves with an asymmetric hysteresis, leading to a near-optimal controller without requiring any prior knowledge about the environment. We start with a carefully tuned Proportional Integrator (PI) controller and exploit the recent advances in Reinforcement Learning (RL) with Guides to improve the closed-loop behavior by learning from the additional interactions with the valve. We test the proposed control method in various scenarios on three different valves, all highlighting the benefits of combining both PI and RL frameworks to improve control performance in non-linear stochastic systems. In all the experimental test cases, the resulting agent has a better sample efficiency than traditional RL agents and outperforms the PI controller.
• Abstract（参考訳）: 本稿では,非線形スロットル弁を非対称なヒステリシスで制御する学習型制御手法を提案する。 まず,注意に調整された比例積分器(pi)コントローラから始めて,最近の強化学習(rl)の進歩をガイドで活用し,バルブとの付加的な相互作用から学習することにより閉ループ動作を改善する。 非線形確率システムの制御性能を向上させるために, pi と rl の両フレームワークを組み合わせた制御方法を, 3 つの異なる弁上で様々なシナリオでテストした。 実験では, 従来のRLエージェントよりも試料効率が良く, PIコントローラよりも優れていた。

関連論文リスト

• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• Performance-Driven Controller Tuning via Derivative-Free Reinforcement Learning [6.5158195776494]
  我々は,新しい微分自由強化学習フレームワークを用いて,制御器のチューニング問題に取り組む。 我々は,PIDコントローラを用いた適応走行制御とMPCコントローラを用いた軌道追跡という,自律走行による2つの具体例に関する数値実験を行った。 実験の結果,提案手法は一般的なベースラインよりも優れており,コントローラチューニングの強い可能性を強調している。
  論文  参考訳（メタデータ） (2022-09-11T13:01:14Z)
• Improving the Performance of Robust Control through Event-Triggered Learning [74.57758188038375]
  LQR問題における不確実性に直面していつ学習するかを決定するイベントトリガー学習アルゴリズムを提案する。 本研究では,ロバストな制御器ベースライン上での性能向上を数値例で示す。
  論文  参考訳（メタデータ） (2022-07-28T17:36:37Z)
• Comparative analysis of machine learning methods for active flow control [60.53767050487434]
  遺伝的プログラミング(GP)と強化学習(RL)はフロー制御において人気を集めている。 この研究は2つの比較分析を行い、地球規模の最適化手法に対して最も代表的なアルゴリズムのいくつかをベンチマークする。
  論文  参考訳（メタデータ） (2022-02-23T18:11:19Z)
• Steady-State Error Compensation in Reference Tracking and Disturbance Rejection Problems for Reinforcement Learning-Based Control [0.9023847175654602]
  強化学習(Reinforcement Learning, RL)は、自動制御アプリケーションにおける将来的なトピックである。 アクター批判に基づくRLコントローラのためのイニシアティブアクション状態拡張(IASA)が導入される。 この拡張は専門家の知識を必要とせず、アプローチモデルを無償にしておく。
  論文  参考訳（メタデータ） (2022-01-31T16:29:19Z)
• DiffLoop: Tuning PID controllers by differentiating through the feedback loop [8.477619837043214]
  本稿では,PIDチューニングとアンチ・ウィンドアップ対策について検討する。 特に、コスト関数を用いて、制御性能を向上させるために勾配を生成する。
  論文  参考訳（メタデータ） (2021-06-19T15:26:46Z)
• Regularizing Action Policies for Smooth Control with Reinforcement Learning [47.312768123967025]
  Conditioning for Action Policy Smoothness(CAPS)は、アクションポリシーの効果的な直感的な正規化である。 capsは、ニューラルネットワークコントローラの学習状態-動作マッピングの滑らかさを一貫して改善する。 実システムでテストしたところ、クアドロタードローンのコントローラーの滑らかさが改善され、消費電力は80%近く削減された。
  論文  参考訳（メタデータ） (2020-12-11T21:35:24Z)
• Optimizing Mixed Autonomy Traffic Flow With Decentralized Autonomous Vehicles and Multi-Agent RL [63.52264764099532]
  本研究では、完全分散制御方式を用いて、混合自律環境でのボトルネックのスループットを向上させる自動運転車の能力について検討する。 この問題にマルチエージェント強化アルゴリズムを適用し、5%の浸透速度で20%から40%の浸透速度で33%までのボトルネックスループットの大幅な改善が達成できることを実証した。
  論文  参考訳（メタデータ） (2020-10-30T22:06:05Z)
• Learning a Contact-Adaptive Controller for Robust, Efficient Legged Locomotion [95.1825179206694]
  四足歩行ロボットのためのロバストコントローラを合成するフレームワークを提案する。 高レベルコントローラは、環境の変化に応じてプリミティブのセットを選択することを学習する。 確立された制御方法を使用してプリミティブを堅牢に実行する低レベルコントローラ。
  論文  参考訳（メタデータ） (2020-09-21T16:49:26Z)
• Comparison of Model Predictive and Reinforcement Learning Methods for Fault Tolerant Control [2.524528674141466]
  階層的強化学習に基づく離散時間系に対する2つの適応型耐故障制御方式を提案する。 実験により、強化学習に基づく制御器は、故障下のモデル予測制御器、部分的に観測可能なシステムモデル、様々なセンサノイズレベルよりも堅牢に動作することが示されている。
  論文  参考訳（メタデータ） (2020-08-10T20:22:15Z)
• Optimal PID and Antiwindup Control Design as a Reinforcement Learning Problem [3.131740922192114]
  DRL制御法の解釈可能性に着目した。 特に、線形固定構造コントローラをアクター・クリティカル・フレームワークに埋め込まれた浅層ニューラルネットワークとみなす。
  論文  参考訳（メタデータ） (2020-05-10T01:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。