論文の概要: Deep Reinforcement Learning for Computational Fluid Dynamics on HPC Systems

• arxiv url: http://arxiv.org/abs/2205.06502v1
• Date: Fri, 13 May 2022 08:21:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-16 14:17:25.962950
• Title: Deep Reinforcement Learning for Computational Fluid Dynamics on HPC Systems
• Title（参考訳）: HPCシステムにおける計算流体力学の深部強化学習
• Authors: Marius Kurz, Philipp Offenh\"auser, Dominic Viola, Oleksandr Shcherbakov, Michael Resch, Andrea Beck
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、動的システムの文脈における制御戦略の考案に非常に適している。 近年の研究では、RL強化計算流体力学(CFD)の解法が最先端技術を超えることが示唆されている。 我々は、機械学習とHPCシステム上の最新のCFDソルバ間のギャップを埋めるスケーラブルなRLフレームワークとしてRelexiを提示する。
• 参考スコア（独自算出の注目度）: 17.10464381844892
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reinforcement learning (RL) is highly suitable for devising control strategies in the context of dynamical systems. A prominent instance of such a dynamical system is the system of equations governing fluid dynamics. Recent research results indicate that RL-augmented computational fluid dynamics (CFD) solvers can exceed the current state of the art, for example in the field of turbulence modeling. However, while in supervised learning, the training data can be generated a priori in an offline manner, RL requires constant run-time interaction and data exchange with the CFD solver during training. In order to leverage the potential of RL-enhanced CFD, the interaction between the CFD solver and the RL algorithm thus have to be implemented efficiently on high-performance computing (HPC) hardware. To this end, we present Relexi as a scalable RL framework that bridges the gap between machine learning workflows and modern CFD solvers on HPC systems providing both components with its specialized hardware. Relexi is built with modularity in mind and allows easy integration of various HPC solvers by means of the in-memory data transfer provided by the SmartSim library. Here, we demonstrate that the Relexi framework can scale up to hundreds of parallel environment on thousands of cores. This allows to leverage modern HPC resources to either enable larger problems or faster turnaround times. Finally, we demonstrate the potential of an RL-augmented CFD solver by finding a control strategy for optimal eddy viscosity selection in large eddy simulations.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、動的システムの文脈における制御戦略の考案に非常に適している。 そのような力学系の顕著な例は流体力学を支配する方程式系である。 最近の研究結果は、例えば乱流モデリングの分野では、RL強化計算流体力学(CFD)の解法が現在の技術状況を超える可能性があることを示唆している。 しかし、教師付き学習では、トレーニングデータをオフラインで生成することができるが、RLはトレーニング中に一定の実行時インタラクションとCFDソルバとのデータ交換を必要とする。 RL強化CFDのポテンシャルを利用するには、CFDソルバとRLアルゴリズムの相互作用を高速コンピューティング(HPC)ハードウェア上で効率的に実装する必要がある。 そこで本研究では,hpcシステムにおける機械学習ワークフローと最新のcfdソルバとのギャップを埋めるスケーラブルなrlフレームワークとしてrelexiを提案する。 Relexiはモジュール性を考慮して構築されており、SmartSimライブラリが提供するインメモリデータ転送によって、さまざまなHPCソルバを容易に統合することができる。 ここでは、relexiフレームワークが数千のコア上で数百の並列環境にスケールアップできることを実証する。 これにより、最新のHPCリソースを活用して、より大きな問題を有効にするか、ターンアラウンド時間を短縮することができる。 最後に、大規模渦シミュレーションにおいて最適渦粘度選択の制御戦略を見出すことにより、RL強化CFDソルバの可能性を示す。

関連論文リスト

• SINDy-RL: Interpretable and Efficient Model-Based Reinforcement Learning [5.59265003686955]
  SINDy-RLは,SINDyと深層強化学習を組み合わせたフレームワークである。 SINDy-RLは最先端のDRLアルゴリズムに匹敵する性能を達成する。 我々は,ベンチマーク制御環境と流体問題に対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-14T05:17:39Z)
• Real-World Fluid Directed Rigid Body Control via Deep Reinforcement Learning [7.714620721734689]
  ボックス・オ・フロー(Box o Flows)は、動的実世界のシナリオにおいてRLアルゴリズムを体系的に評価する実験的な制御システムである。 モデルフリーなRLアルゴリズムは, 単純な報酬仕様を用いて, 様々な複雑な振る舞いを合成できることを示す。 この予備的な研究から得られた洞察とBox o Flowsのようなシステムの可用性は、体系的なRLアルゴリズムの開発を支援するものだと考えています。
  論文  参考訳（メタデータ） (2024-02-08T23:35:03Z)
• Transfer of Reinforcement Learning-Based Controllers from Model- to Hardware-in-the-Loop [1.8218298349840023]
  強化学習は、自律的な訓練エージェントが複雑な制御タスクを実行する大きな可能性を秘めている。 組み込みシステム機能開発においてRLを効果的に利用するには、生成されたエージェントが現実世界のアプリケーションを扱う必要がある。 本研究は,Transfer Learning(TL)とX-in-the-Loop(XiL)シミュレーションを組み合わせることで,RLエージェントのトレーニングプロセスの高速化に重点を置いている。
  論文  参考訳（メタデータ） (2023-10-25T09:13:12Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Controlling dynamical systems to complex target states using machine learning: next-generation vs. classical reservoir computing [68.8204255655161]
  機械学習を用いた非線形力学系の制御は、システムを周期性のような単純な振る舞いに駆動するだけでなく、より複雑な任意の力学を駆動する。 まず, 従来の貯水池計算が優れていることを示す。 次のステップでは、これらの結果を異なるトレーニングデータに基づいて比較し、代わりに次世代貯水池コンピューティングを使用する別のセットアップと比較する。 その結果、通常のトレーニングデータに対して同等のパフォーマンスを提供する一方で、次世代RCは、非常に限られたデータしか利用できない状況において、著しくパフォーマンスが向上していることがわかった。
  論文  参考訳（メタデータ） (2023-07-14T07:05:17Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)
• Data-driven control of spatiotemporal chaos with reduced-order neural ODE-based models and reinforcement learning [0.0]
  ディープラーニングは、高次元システムの複雑な制御戦略を発見することができ、フロー制御アプリケーションに期待できる。 RLに関連する大きな課題は、ターゲットシステムと繰り返し対話することによって、実質的なトレーニングデータを生成する必要があることだ。 我々は、RLトレーニング中に真のシステムを配置したデータ駆動リダクション・オーダー・モデル(ROM)を用いて、最適なポリシーを効率的に推定する。 ROMベースの制御戦略は真のKSEによく似ており、RLエージェントがKSEシステムの根底にある強制平衡解を発見し、安定化することを強調する。
  論文  参考訳（メタデータ） (2022-05-01T23:25:44Z)
• Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
  微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。 本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。 現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
  論文  参考訳（メタデータ） (2022-04-14T17:46:26Z)
• Reinforcement Learning-Empowered Mobile Edge Computing for 6G Edge Intelligence [76.96698721128406]
  モバイルエッジコンピューティング(MEC)は、第5世代(5G)ネットワークなどにおける計算と遅延に敏感なタスクのための新しいパラダイムであると考えた。 本稿では、フリー対応RLに関する総合的な研究レビューと、開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2022-01-27T10:02:54Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。