論文の概要: Model-based deep reinforcement learning for accelerated learning from flow simulations

• arxiv url: http://arxiv.org/abs/2402.16543v1
• Date: Mon, 26 Feb 2024 13:01:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 13:36:50.643389
• Title: Model-based deep reinforcement learning for accelerated learning from flow simulations
• Title（参考訳）: モデルに基づく深部強化学習による流れシミュレーションからの学習の高速化
• Authors: Andre Weiner, Janis Geise
• Abstract要約: フロー制御アプリケーションにおけるモデルベース強化学習の利点を実証する。 具体的には, 流れシミュレーションから採取した軌道と, 環境モデルのアンサンブルから採取した軌道とを交互に組み合わせることで, 政策を最適化する。 モデルベースの学習は、流動的なピンボールテストケースに対して、トレーニング全体の時間を最大85%削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, deep reinforcement learning has emerged as a technique to solve closed-loop flow control problems. Employing simulation-based environments in reinforcement learning enables a priori end-to-end optimization of the control system, provides a virtual testbed for safety-critical control applications, and allows to gain a deep understanding of the control mechanisms. While reinforcement learning has been applied successfully in a number of rather simple flow control benchmarks, a major bottleneck toward real-world applications is the high computational cost and turnaround time of flow simulations. In this contribution, we demonstrate the benefits of model-based reinforcement learning for flow control applications. Specifically, we optimize the policy by alternating between trajectories sampled from flow simulations and trajectories sampled from an ensemble of environment models. The model-based learning reduces the overall training time by up to $85\%$ for the fluidic pinball test case. Even larger savings are expected for more demanding flow simulations.
• Abstract（参考訳）: 近年,閉ループフロー制御問題の解法として深層強化学習が登場している。 強化学習にシミュレーションベースの環境を利用すると、制御システムのエンドツーエンドの最適化が可能になり、安全クリティカルな制御アプリケーションのための仮想テストベッドを提供し、制御機構の深い理解を得ることができる。 多くの比較的単純なフロー制御ベンチマークで強化学習がうまく適用されているが、現実のアプリケーションに対する大きなボトルネックは、フローシミュレーションの計算コストとターンアラウンド時間である。 本稿では,フロー制御アプリケーションにおけるモデルベース強化学習の利点を実証する。 具体的には, 流れシミュレーションから採取した軌道と, 環境モデルのアンサンブルから採取した軌道とを交互に組み合わせることで, 政策を最適化する。 モデルベースの学習は、流体ピンボールテストケース全体のトレーニング時間を最大$85\%削減する。 さらに大きな貯蓄が要求されるフローシミュレーションに期待されている。

関連論文リスト

• Traffic expertise meets residual RL: Knowledge-informed model-based residual reinforcement learning for CAV trajectory control [1.5361702135159845]
  本稿では,知識インフォームドモデルに基づく残留強化学習フレームワークを提案する。 交通専門家の知識を仮想環境モデルに統合し、基本力学にIntelligent Driver Model(IDM)、残留力学にニューラルネットワークを使用する。 本稿では,従来の制御手法を残差RLと組み合わせて,スクラッチから学習することなく,効率的な学習と政策最適化を容易にする新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-30T16:16:57Z)
• Machine learning surrogates for efficient hydrologic modeling: Insights from stochastic simulations of managed aquifer recharge [0.0]
  プロセスベース水理モデルと機械学習サロゲートモデルのためのハイブリッドモデリングワークフローを提案する。 ケーススタディでは, このワークフローを, 将来的な管理型帯水層帯水層における飽和地下水流のシミュレーションに応用する。 以上の結果から,MLサロゲートモデルでは,絶対誤差率10%以下で絶対誤差を達成でき,大域保存の順序付けが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-30T15:24:27Z)
• Learning to Fly in Seconds [7.259696592534715]
  カリキュラム学習と高度に最適化されたシミュレータが,サンプルの複雑さを増し,学習時間の短縮につながることを示す。 我々のフレームワークは、コンシューマ級ラップトップで18秒のトレーニングをした後、直接制御するためのSimulation-to-Real(Sim2Real)転送を可能にする。
  論文  参考訳（メタデータ） (2023-11-22T01:06:45Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• Parallel bootstrap-based on-policy deep reinforcement learning for continuous flow control applications [0.0]
  学習過程における並行環境は、合理的な時間で効率的に制御するために不可欠な要素である。 本稿では,リターンブートストラッピングステップで終了する部分軌道バッファに依存する並列性パターンを提案する。 このアプローチは、文献からのCPU集約型連続フロー制御問題に説明される。
  論文  参考訳（メタデータ） (2023-04-24T08:54:14Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Comparative analysis of machine learning methods for active flow control [60.53767050487434]
  遺伝的プログラミング(GP)と強化学習(RL)はフロー制御において人気を集めている。 この研究は2つの比較分析を行い、地球規模の最適化手法に対して最も代表的なアルゴリズムのいくつかをベンチマークする。
  論文  参考訳（メタデータ） (2022-02-23T18:11:19Z)
• Sample-efficient reinforcement learning using deep Gaussian processes [18.044018772331636]
  強化学習(Reinforcement learning)は、試行錯誤を通じてタスクを完了するためのアクションを制御するためのフレームワークを提供する。 モデルに基づく強化学習効率は、世界力学をシミュレートする学習によって改善される。 合成の深さがモデル複雑性をもたらすのに対して、ダイナミックスに関する事前の知識を取り入れることで、滑らかさと構造がもたらされる、深いガウス過程を導入する。
  論文  参考訳（メタデータ） (2020-11-02T13:37:57Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。