論文の概要: Surrogate Empowered Sim2Real Transfer of Deep Reinforcement Learning for ORC Superheat Control

• arxiv url: http://arxiv.org/abs/2308.02765v1
• Date: Sat, 5 Aug 2023 01:59:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 18:48:39.922040
• Title: Surrogate Empowered Sim2Real Transfer of Deep Reinforcement Learning for ORC Superheat Control
• Title（参考訳）: スーパーヒート制御のためのSim2Real Transfer of Deep Reinforcement Learning
• Authors: Runze Lin, Yangyang Luo, Xialai Wu, Junghui Chen, Biao Huang, Lei Xie, Hongye Su
• Abstract要約: 本稿では,ORCスーパーヒート制御のためのSim2Real転送学習型DRL制御法を提案する。 実験結果から,ORC制御問題におけるDRLのトレーニング速度を大幅に向上することがわかった。
• 参考スコア（独自算出の注目度）: 12.567922037611261
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Organic Rankine Cycle (ORC) is widely used in industrial waste heat recovery due to its simple structure and easy maintenance. However, in the context of smart manufacturing in the process industry, traditional model-based optimization control methods are unable to adapt to the varying operating conditions of the ORC system or sudden changes in operating modes. Deep reinforcement learning (DRL) has significant advantages in situations with uncertainty as it directly achieves control objectives by interacting with the environment without requiring an explicit model of the controlled plant. Nevertheless, direct application of DRL to physical ORC systems presents unacceptable safety risks, and its generalization performance under model-plant mismatch is insufficient to support ORC control requirements. Therefore, this paper proposes a Sim2Real transfer learning-based DRL control method for ORC superheat control, which aims to provide a new simple, feasible, and user-friendly solution for energy system optimization control. Experimental results show that the proposed method greatly improves the training speed of DRL in ORC control problems and solves the generalization performance issue of the agent under multiple operating conditions through Sim2Real transfer.
• Abstract（参考訳）: 有機ランキンサイクル (orc) は, 簡易な構造とメンテナンスの容易さから, 産業廃棄物の熱回収に広く用いられている。 しかし、プロセス産業におけるスマート製造の文脈では、従来のモデルに基づく最適化制御手法は、ORCシステムの様々な動作条件や突然の動作モードの変更に適応できない。 深層強化学習(drl)は、制御されたプラントの明示的なモデルを必要としない環境と相互作用することで直接制御目標を達成するため、不確実性のある状況において大きな利点がある。 しかし、DRLの物理的ORCシステムへの直接適用は受け入れ難い安全リスクを示し、モデルプラントミスマッチによる一般化性能は、ORC制御要求をサポートするには不十分である。 そこで本稿では,省エネシステム最適化制御のための新しい簡易で実現可能でユーザフレンドリーなソリューションを提供することを目的とした,orc過熱制御のためのsim2実数転送学習に基づくdrl制御手法を提案する。 実験の結果,提案手法は,ORC制御問題におけるDRLのトレーニング速度を大幅に改善し,Sim2Real転送による複数の操作条件下でのエージェントの一般化性能問題を解くことがわかった。

関連論文リスト

• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• A Safe Reinforcement Learning Algorithm for Supervisory Control of Power Plants [7.1771300511732585]
  モデルフリー強化学習(RL)は、制御タスクのための有望なソリューションとして登場した。 本稿では,監督制御のための近似ポリシ最適化に基づく確率制約付きRLアルゴリズムを提案する。 本手法は, 原子力プラント設計における負荷追従操作において, 違反距離と違反率の最小化を実現するものである。
  論文  参考訳（メタデータ） (2024-01-23T17:52:49Z)
• Sim-to-Real Transfer of Adaptive Control Parameters for AUV Stabilization under Current Disturbance [1.099532646524593]
  本稿では,最大エントロピー深層強化学習フレームワークを古典的なモデルベース制御アーキテクチャと組み合わせ,適応制御系を定式化する新しい手法を提案する。 本フレームワークでは,バイオインスパイアされた体験再生機構,拡張されたドメインランダム化手法,物理プラットフォーム上で実行される評価プロトコルなどを含むSim-to-Real転送戦略を導入する。 実験により,AUVの準最適モデルから有能なポリシを効果的に学習し,実車への移動時の制御性能を3倍に向上することを示した。
  論文  参考訳（メタデータ） (2023-10-17T08:46:56Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• Optimizing Industrial HVAC Systems with Hierarchical Reinforcement Learning [1.7489518849687256]
  産業用冷却システムの最適化のために強化学習技術が開発され、省エネが図られている。 産業制御における大きな課題は、機械の制約により現実世界で実現可能な学習行動である。 動作時間尺度に応じて動作のサブセットを制御する複数のエージェントによる階層的強化学習を使用する。
  論文  参考訳（メタデータ） (2022-09-16T18:00:46Z)
• Steady-State Error Compensation in Reference Tracking and Disturbance Rejection Problems for Reinforcement Learning-Based Control [0.9023847175654602]
  強化学習(Reinforcement Learning, RL)は、自動制御アプリケーションにおける将来的なトピックである。 アクター批判に基づくRLコントローラのためのイニシアティブアクション状態拡張(IASA)が導入される。 この拡張は専門家の知識を必要とせず、アプローチモデルを無償にしておく。
  論文  参考訳（メタデータ） (2022-01-31T16:29:19Z)
• Cautious Adaptation For Reinforcement Learning in Safety-Critical Settings [129.80279257258098]
  都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。 非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。 多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
  論文  参考訳（メタデータ） (2020-08-15T01:40:59Z)
• A Relearning Approach to Reinforcement Learning for Control of Smart Buildings [1.8799681615947088]
  本稿では、漸進的深層学習(RL)を用いた制御方針の連続的再学習が、非定常過程におけるポリシー学習を改善することを実証する。 我々は,全体の快適さを犠牲にすることなく,建築エネルギーを同時に削減するインクリメンタルRL技術を開発した。
  論文  参考訳（メタデータ） (2020-08-04T23:31:05Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)
• NeurOpt: Neural network based optimization for building energy management and climate control [58.06411999767069]
  モデル同定のコストを削減するために,ニューラルネットワークに基づくデータ駆動制御アルゴリズムを提案する。 イタリアにある10の独立したゾーンを持つ2階建ての建物で、学習と制御のアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2020-01-22T00:51:03Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。