論文の概要: Effective control of two-dimensional Rayleigh--B\'enard convection:
invariant multi-agent reinforcement learning is all you need
- arxiv url: http://arxiv.org/abs/2304.02370v2
- Date: Tue, 13 Jun 2023 08:55:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 17:26:13.673123
- Title: Effective control of two-dimensional Rayleigh--B\'enard convection:
invariant multi-agent reinforcement learning is all you need
- Title（参考訳）: 2次元レイリー対流の効果的制御:不変多エージェント強化学習は必要なすべてである
- Authors: Colin Vignon, Jean Rabault, Joel Vasanth, Francisco
Alc\'antara-\'Avila, Mikael Mortensen, Ricardo Vinuesa
- Abstract要約: Rayleigh-B'enard対流(RBC)の制御は古典的な制御理論の手法では難しいトピックである。
我々は、不変マルチエージェント強化学習(MARL)を活用することにより、有効なRBC制御が得られることを示した。
MARL DRLは自然発症RBC二重細胞パターンを不安定化する高度な制御戦略を発見することができることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rayleigh-B\'enard convection (RBC) is a recurrent phenomenon in several
industrial and geoscience flows and a well-studied system from a fundamental
fluid-mechanics viewpoint. However, controlling RBC, for example by modulating
the spatial distribution of the bottom-plate heating in the canonical RBC
configuration, remains a challenging topic for classical control-theory
methods. In the present work, we apply deep reinforcement learning (DRL) for
controlling RBC. We show that effective RBC control can be obtained by
leveraging invariant multi-agent reinforcement learning (MARL), which takes
advantage of the locality and translational invariance inherent to RBC flows
inside wide channels. The MARL framework applied to RBC allows for an increase
in the number of control segments without encountering the curse of
dimensionality that would result from a naive increase in the DRL action-size
dimension. This is made possible by the MARL ability for re-using the knowledge
generated in different parts of the RBC domain. We show in a case study that
MARL DRL is able to discover an advanced control strategy that destabilizes the
spontaneous RBC double-cell pattern, changes the topology of RBC by coalescing
adjacent convection cells, and actively controls the resulting coalesced cell
to bring it to a new stable configuration. This modified flow configuration
results in reduced convective heat transfer, which is beneficial in several
industrial processes. Therefore, our work both shows the potential of MARL DRL
for controlling large RBC systems, as well as demonstrates the possibility for
DRL to discover strategies that move the RBC configuration between different
topological configurations, yielding desirable heat-transfer characteristics.
These results are useful for both gaining further understanding of the
intrinsic properties of RBC, as well as for developing industrial applications.
- Abstract（参考訳）: レイリー・b・エナード対流(rayleigh-b\'enard convection, rbc)は、いくつかの工業的・地学的な流れにおける再帰現象であり、基本的な流体力学の観点からよく研究されたシステムである。
しかし、例えば、標準RBC構成における底板加熱の空間分布を調節することでRBCを制御することは、古典的な制御理論法では難しいトピックである。
本研究では,RBC制御に深部強化学習(DRL)を適用した。
広チャネル内のRBCフローに固有の局所性と翻訳的不変性を生かした,不変なマルチエージェント強化学習(MARL)を活用することで,有効なRBC制御が得られることを示す。
RBCに適用されたMARLフレームワークは、DRLアクションサイズ寸法の単純な増加に起因する次元性の呪いに遭遇することなく、制御セグメントの数を増やすことができる。
これは、RBCドメインの異なる部分で生成された知識を再利用するMARL機能によって実現されている。
そこで本研究では,mall drlが自発的なrbc二重細胞パターンを不安定化させ,隣接する対流細胞を結合させることでrbcのトポロジーを変化させる高度な制御戦略を見いだし,その結果得られる合体細胞を積極的に制御し,新たな安定した構成へと導くことができることを示す。
この変化した流れは対流熱伝達を減少させ、いくつかの産業プロセスで有用である。
そこで本研究は,大規模RBCシステムを制御するためのMARL DRLの可能性を示すとともに,RBC構成を異なる位相構成間で移動させ,好適な熱伝達特性をもたらす戦略をDRLが発見できる可能性を示す。
これらの結果は、RBCの本質的な性質のさらなる理解と産業応用の開発に有用である。
関連論文リスト
- Offline Behavior Distillation [57.6900189406964]
大規模な強化学習(RL)データは通常、インタラクションを必要とせずにポリシをオフラインにトレーニングするために収集される。
準最適RLデータから限られた専門家の行動データを合成するオフライン行動蒸留(OBD)を定式化する。
そこで本研究では, 蒸留データとオフラインデータ, ほぼ専門的ポリシーのいずれにおいても, 蒸留性能を判断的差異によって測定する2つの単純OBD目標であるDBCとPBCを提案する。
論文 参考訳（メタデータ） (2024-10-30T06:28:09Z) - Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。
この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
論文 参考訳（メタデータ） (2024-10-02T17:53:23Z) - Multi-agent reinforcement learning for the control of three-dimensional Rayleigh-Bénard convection [0.7864304771129751]
マルチエージェントRL (MARL) は単一エージェントRLよりも局所性および翻訳的不変性を示すフローを制御するのに有効であることが示されている。
MARLによる3次元レイリー・ブエナード対流の制御の実装を初めて提示する。
論文 参考訳（メタデータ） (2024-07-31T12:41:20Z) - Koopman-Based Surrogate Modelling of Turbulent Rayleigh-Bénard Convection [4.248022697109535]
我々は,LRAN(Linear Recurrent Autoencoder Network)と呼ばれるクープマンにインスパイアされたアーキテクチャを用いて,対流中の低次ダイナミクスを学習する。
従来の流体力学法であるKernel Dynamic Mode Decomposition (KDMD)を用いてLRANを比較する。
我々は,最も乱流条件下では,KDMDよりもLRANの方が正確な予測値を得た。
論文 参考訳（メタデータ） (2024-05-10T12:15:02Z) - Bayesian Reparameterization of Reward-Conditioned Reinforcement Learning
with Energy-based Models [46.24690220893344]
現在の報酬条件強化学習アプローチは基本的に限定的であることを示す。
ベイズの定理に触発されたRCRLの帰納バイアスの新たな組を提案する。
BR-RCRL は Gym-Mujoco および Atari のオフライン RL ベンチマークで最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-05-18T23:23:08Z) - Low Emission Building Control with Zero-Shot Reinforcement Learning [70.70479436076238]
強化学習(RL)による制御は、建築エネルギー効率を著しく向上させることが示されている。
我々は、ゼロショットビルディング制御と呼ばれるパラダイムを優先せずに、排出削減ポリシーを得られることを示す。
論文 参考訳（メタデータ） (2022-08-12T17:13:25Z) - Dynamic Mode Decomposition in Adaptive Mesh Refinement and Coarsening
Simulations [58.720142291102135]
動的モード分解(DMD)はコヒーレントなスキームを抽出する強力なデータ駆動方式である。
本稿では,異なるメッシュトポロジと次元の観測からDMDを抽出する戦略を提案する。
論文 参考訳（メタデータ） (2021-04-28T22:14:25Z) - Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。
線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
論文 参考訳（メタデータ） (2021-04-01T13:03:48Z) - Scalable Voltage Control using Structure-Driven Hierarchical Deep
Reinforcement Learning [0.0]
本稿では,新しい階層型深層強化学習(drl)による電力系統の電圧制御設計を提案する。
本研究では,電力系統の領域分割構造を利用して,大規模グリッドモデルに適用可能な階層型drl設計を提案する。
地域別分散型RLエージェントを訓練し、各エリアの低レベルポリシーを算出し、低レベルポリシーの更新を使用して低レベルエージェントが行う制御アクションを効率的に調整する高レベルDRLエージェントを同時トレーニングします。
論文 参考訳（メタデータ） (2021-01-29T21:30:59Z) - Performance of Dual-Augmented Lagrangian Method and Common Spatial
Patterns applied in classification of Motor-Imagery BCI [68.8204255655161]
運動画像に基づく脳-コンピュータインタフェース(MI-BCI)は、神経リハビリテーションのための画期的な技術になる可能性がある。
使用する脳波信号のノイズの性質のため、信頼性の高いBCIシステムは特徴の最適化と抽出のために特別な手順を必要とする。
論文 参考訳（メタデータ） (2020-10-13T20:50:13Z) - Adaptive Energy Management for Real Driving Conditions via Transfer
Reinforcement Learning [19.383907178714345]
本稿では, 並列トポロジを用いたハイブリッド電気自動車(HEV)における伝達強化学習(RL)に基づく適応エネルギー管理手法を提案する。
上位レベルは、駆動サイクル変換(DCT)を介してRLフレームワークのQ値テーブルを変換する方法を特徴付ける。
低レベルは、変換されたQ値テーブルとTPMで対応する制御戦略を設定する方法を決定する。
論文 参考訳（メタデータ） (2020-07-24T15:06:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。