論文の概要: Multi-agent reinforcement learning for the control of three-dimensional Rayleigh-Bénard convection

• arxiv url: http://arxiv.org/abs/2407.21565v1
• Date: Wed, 31 Jul 2024 12:41:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 12:37:28.324944
• Title: Multi-agent reinforcement learning for the control of three-dimensional Rayleigh-Bénard convection
• Title（参考訳）: 三次元レイリー・ベナード対流制御のためのマルチエージェント強化学習
• Authors: Joel Vasanth, Jean Rabault, Francisco Alcántara-Ávila, Mikael Mortensen, Ricardo Vinuesa,
• Abstract要約: マルチエージェントRL (MARL) は単一エージェントRLよりも局所性および翻訳的不変性を示すフローを制御するのに有効であることが示されている。 MARLによる3次元レイリー・ブエナード対流の制御の実装を初めて提示する。
• 参考スコア（独自算出の注目度）: 0.7864304771129751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep reinforcement learning (DRL) has found application in numerous use-cases pertaining to flow control. Multi-agent RL (MARL), a variant of DRL, has shown to be more effective than single-agent RL in controlling flows exhibiting locality and translational invariance. We present, for the first time, an implementation of MARL-based control of three-dimensional Rayleigh-B\'enard convection (RBC). Control is executed by modifying the temperature distribution along the bottom wall divided into multiple control segments, each of which acts as an independent agent. Two regimes of RBC are considered at Rayleigh numbers $\mathrm{Ra}=500$ and $750$. Evaluation of the learned control policy reveals a reduction in convection intensity by $23.5\%$ and $8.7\%$ at $\mathrm{Ra}=500$ and $750$, respectively. The MARL controller converts irregularly shaped convective patterns to regular straight rolls with lower convection that resemble flow in a relatively more stable regime. We draw comparisons with proportional control at both $\mathrm{Ra}$ and show that MARL is able to outperform the proportional controller. The learned control strategy is complex, featuring different non-linear segment-wise actuator delays and actuation magnitudes. We also perform successful evaluations on a larger domain than used for training, demonstrating that the invariant property of MARL allows direct transfer of the learnt policy.
• Abstract（参考訳）: 深部強化学習(DRL)は、フロー制御に関する多くのユースケースに応用されている。 DRLの変種であるMARL(Multi-agent RL)は,局所性および翻訳的不変性を示す流れの制御において,単エージェントRLよりも有効であることが示されている。 本稿では,3次元レイリー・ブエナード対流(RBC)のMARL制御の実装を初めて紹介する。 制御は、底壁に沿った温度分布を複数の制御セグメントに分割して行い、それぞれが独立したエージェントとして機能する。 RBCの2つの体制はレイリー数$\mathrm{Ra}=500$と750$で検討されている。 学習した制御ポリシーの評価では、対流強度をそれぞれ$23.5\%$と$8.7\%$を$500$と$750$で下げている。 MARLコントローラは不規則形状の対流パターンを、比較的安定した状態での流れに似た低い対流を持つ通常の直流ロールに変換する。 それぞれ$\mathrm{Ra}$で比例制御との比較を行い、MARLが比例制御器より優れていることを示す。 学習された制御戦略は複雑で、異なる非線形セグメントワイドアクチュエータ遅延とアクティベーションマグニチュードが特徴である。 また,MARLの不変性は学習ポリシーの直接伝達を可能にすることを示す。

関連論文リスト

• Provably Efficient Action-Manipulation Attack Against Continuous Reinforcement Learning [49.48615590763914]
  我々は,モンテカルロ木探索法を用いて効率的な行動探索と操作を行うLCBTというブラックボックス攻撃アルゴリズムを提案する。 提案手法は, DDPG, PPO, TD3の3つの攻撃的アルゴリズムに対して, 連続的な設定で実行し, 攻撃性能が期待できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T08:20:29Z)
• Adding Conditional Control to Diffusion Models with Reinforcement Learning [59.295203871547336]
  拡散モデルは、生成されたサンプルの特性を正確に制御できる強力な生成モデルである。 本研究では、オフラインデータセットを活用した強化学習(RL)に基づく新しい制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T22:00:26Z)
• Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
  リスクに敏感な強化学習(RL)について検討する。 本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。 提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2023-11-20T17:44:40Z)
• Active flow control for three-dimensional cylinders through deep reinforcement learning [0.0]
  本稿では,複数のゼロネット・マス・フラックス合成ジェットを用いたアクティブフロー制御の初回成功例を示す。 ジェットは、ドラッグ係数を低減するために、そのスパンに沿って三次元のシリンダー上に配置される。 この手法は,計算流体力学解法とエージェントを結合した深層強化学習フレームワークに基づいている。
  論文  参考訳（メタデータ） (2023-09-04T13:30:29Z)
• Effective control of two-dimensional Rayleigh--B\'enard convection: invariant multi-agent reinforcement learning is all you need [0.0]
  Rayleigh-B'enard対流(RBC)の制御は古典的な制御理論の手法では難しいトピックである。 我々は、不変マルチエージェント強化学習(MARL)を活用することにより、有効なRBC制御が得られることを示した。 MARL DRLは自然発症RBC二重細胞パターンを不安定化する高度な制御戦略を発見することができることを示す。
  論文  参考訳（メタデータ） (2023-04-05T11:21:21Z)
• TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from Mixed Datasets [118.22975463000928]
  エージェントが複数の行動ポリシーをロールアウトすることで収集したデータセットから学習する必要があるオフライン強化学習(RL)について考察する。 1) RL信号の最適化と行動クローニング(BC)信号の最適なトレードオフは、異なる行動ポリシーによって引き起こされる行動カバレッジの変化によって異なる状態に変化する。 本稿では,TD3アルゴリズムに基づくBC正規化器として,適応重み付き逆KL(Kulback-Leibler)分散を用いることにより,両課題に対処する。
  論文  参考訳（メタデータ） (2022-12-05T09:36:23Z)
• Comparative analysis of machine learning methods for active flow control [60.53767050487434]
  遺伝的プログラミング(GP)と強化学習(RL)はフロー制御において人気を集めている。 この研究は2つの比較分析を行い、地球規模の最適化手法に対して最も代表的なアルゴリズムのいくつかをベンチマークする。
  論文  参考訳（メタデータ） (2022-02-23T18:11:19Z)
• Controlling Rayleigh-B\'enard convection via Reinforcement Learning [62.997667081978825]
  固定外熱勾配下での対流熱交換を抑制または促進するための効果的な制御戦略の同定は、重要な基本的かつ技術的問題である。 本研究では,最先端の強化学習(RL)アルゴリズムに基づく新しい手法を提案する。 我々のRL制御は導電系を安定させ、対流の開始をレイリー数にすることができることを示す。
  論文  参考訳（メタデータ） (2020-03-31T16:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。