論文の概要: Control of Rayleigh-Bénard Convection: Effectiveness of Reinforcement Learning in the Turbulent Regime

• arxiv url: http://arxiv.org/abs/2504.12000v1
• Date: Wed, 16 Apr 2025 11:51:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:38:23.871797
• Title: Control of Rayleigh-Bénard Convection: Effectiveness of Reinforcement Learning in the Turbulent Regime
• Title（参考訳）: Rayleigh-Bénard対流の制御:乱流レジームにおける強化学習の効果
• Authors: Thorben Markmann, Michiel Straat, Sebastian Peitz, Barbara Hammer,
• Abstract要約: 乱流下での対流熱伝達低減のための強化学習(RL)の有効性について検討した。 単エージェントプロキシポリシー最適化(PPO)によって訓練されたRLエージェントは、線形比例微分(PD)コントローラと比較される。 RL剤は、ヌッセルト数によって測定された対流を、適度な乱流系では最大33%減らし、高乱流環境では10%減らした。
• 参考スコア（独自算出の注目度）: 5.138559709801885
• License:
• Abstract: Data-driven flow control has significant potential for industry, energy systems, and climate science. In this work, we study the effectiveness of Reinforcement Learning (RL) for reducing convective heat transfer in the 2D Rayleigh-B\'enard Convection (RBC) system under increasing turbulence. We investigate the generalizability of control across varying initial conditions and turbulence levels and introduce a reward shaping technique to accelerate the training. RL agents trained via single-agent Proximal Policy Optimization (PPO) are compared to linear proportional derivative (PD) controllers from classical control theory. The RL agents reduced convection, measured by the Nusselt Number, by up to 33% in moderately turbulent systems and 10% in highly turbulent settings, clearly outperforming PD control in all settings. The agents showed strong generalization performance across different initial conditions and to a significant extent, generalized to higher degrees of turbulence. The reward shaping improved sample efficiency and consistently stabilized the Nusselt Number to higher turbulence levels.
• Abstract（参考訳）: データ駆動型フロー制御は、産業、エネルギーシステム、気候科学にとって大きな可能性を秘めている。 本研究では,2次元レイリー・ブエナード対流(RBC)における対流熱伝達低減のための強化学習(RL)の有効性について検討した。 本研究では,初期条件と乱流レベルの異なる制御の一般化可能性について検討し,トレーニングを加速するための報酬形成手法を提案する。 単エージェントプロキシポリシー最適化(PPO)を用いて訓練されたRLエージェントは、古典的制御理論の線形比例微分(PD)コントローラと比較される。 RLエージェントは、ヌッセルト数によって測定された対流を、適度な乱流系では最大33%減らし、高乱流環境では10%減らし、全ての設定においてPD制御よりも明らかに優れていた。 エージェントは異なる初期条件をまたいで強い一般化性能を示し、より高次乱流に一般化した。 報酬の整形はサンプルの効率を向上し、ニューセルト番号を高い乱流レベルに安定させた。

関連論文リスト

• Improving a Proportional Integral Controller with Reinforcement Learning on a Throttle Valve Benchmark [2.8322124733515666]
  本稿では,非対称制御器を用いた非線形スロットル弁の学習制御手法を提案する。 我々は近年の強化学習とガイドの進歩を活用し、弁との付加的な相互作用から学習することで閉ループ動作を改善する。 すべての試験ケースにおいて、結果のエージェントは従来のRLエージェントよりもサンプリング効率が良く、PIコントローラよりも優れています。
  論文  参考訳（メタデータ） (2024-02-21T09:40:26Z)
• Reinforcement learning to maximise wind turbine energy generation [0.8437187555622164]
  本研究では,ロータ速度,ロータヨー角,ブレードピッチ角を積極的に変化させることで,風力タービンのエネルギー発生を制御するための強化学習戦略を提案する。 優先体験再生剤を用いた二重深度Q-ラーニングとブレード要素運動量モデルとを結合し、風の変化を制御できるように訓練する。 エージェントは、単純な定常風に対して最適な制御(速度、ヨー、ピッチ)を決定するように訓練され、その後、実際の動的乱流風に挑戦され、良好な性能を示す。
  論文  参考訳（メタデータ） (2024-02-17T21:35:13Z)
• An experimental evaluation of Deep Reinforcement Learning algorithms for HVAC control [40.71019623757305]
  近年の研究では、Deep Reinforcement Learning (DRL)アルゴリズムが従来のリアクティブコントローラより優れていることが示されている。 本稿では,HVAC制御のためのいくつかの最先端DRLアルゴリズムについて,批判的かつ再現可能な評価を行う。
  論文  参考訳（メタデータ） (2024-01-11T08:40:26Z)
• Butterfly Effects of SGD Noise: Error Amplification in Behavior Cloning and Autoregression [70.78523583702209]
  深層ニューラルネットワークを用いた行動クローニングの訓練不安定性について検討した。 トレーニング中のSGD更新の最小化は,長期的報奨の急激な振動をもたらすことが観察された。
  論文  参考訳（メタデータ） (2023-10-17T17:39:40Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• Surrogate Empowered Sim2Real Transfer of Deep Reinforcement Learning for ORC Superheat Control [12.567922037611261]
  本稿では,ORCスーパーヒート制御のためのSim2Real転送学習型DRL制御法を提案する。 実験結果から,ORC制御問題におけるDRLのトレーニング速度を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-05T01:59:44Z)
• Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
  本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。 検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-20T17:11:05Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• Transfer Deep Reinforcement Learning-enabled Energy Management Strategy for Hybrid Tracked Vehicle [8.327437591702163]
  本稿では、深部強化学習(DRL)と伝達学習(TL)を組み合わせたハイブリッド電気自動車の適応エネルギー管理戦略を提案する。 退屈なトレーニング時間でDRLの欠陥に対処することを目的としている。 DRLおよびTL対応制御ポリシは、エネルギー効率を向上し、システム性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-07-16T23:39:34Z)
• Understanding the Difficulty of Training Transformers [120.99980924577787]
  バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。 我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:07Z)
• Controlling Rayleigh-B\'enard convection via Reinforcement Learning [62.997667081978825]
  固定外熱勾配下での対流熱交換を抑制または促進するための効果的な制御戦略の同定は、重要な基本的かつ技術的問題である。 本研究では,最先端の強化学習(RL)アルゴリズムに基づく新しい手法を提案する。 我々のRL制御は導電系を安定させ、対流の開始をレイリー数にすることができることを示す。
  論文  参考訳（メタデータ） (2020-03-31T16:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。