論文の概要: Reinforcement Learning for Adaptive Mesh Refinement
- arxiv url: http://arxiv.org/abs/2103.01342v1
- Date: Mon, 1 Mar 2021 22:55:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 15:44:00.758008
- Title: Reinforcement Learning for Adaptive Mesh Refinement
- Title(参考訳): 適応的メッシュリファインメントのための強化学習
- Authors: Jiachen Yang, Tarik Dzanic, Brenden Petersen, Jun Kudo, Ketan Mittal,
Vladimir Tomov, Jean-Sylvain Camier, Tuo Zhao, Hongyuan Zha, Tzanio Kolev,
Robert Anderson, Daniel Faissol
- Abstract要約: マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。
これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
- 参考スコア(独自算出の注目度): 63.7867809197671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale finite element simulations of complex physical systems governed
by partial differential equations crucially depend on adaptive mesh refinement
(AMR) to allocate computational budget to regions where higher resolution is
required. Existing scalable AMR methods make heuristic refinement decisions
based on instantaneous error estimation and thus do not aim for long-term
optimality over an entire simulation. We propose a novel formulation of AMR as
a Markov decision process and apply deep reinforcement learning (RL) to train
refinement policies directly from simulation. AMR poses a new problem for RL in
that both the state dimension and available action set changes at every step,
which we solve by proposing new policy architectures with differing generality
and inductive bias. The model sizes of these policy architectures are
independent of the mesh size and hence scale to arbitrarily large and complex
simulations. We demonstrate in comprehensive experiments on static function
estimation and the advection of different fields that RL policies can be
competitive with a widely-used error estimator and generalize to larger, more
complex, and unseen test problems.
- Abstract(参考訳): 偏微分方程式によって支配される複雑な物理系の大規模有限要素シミュレーションは、より高い分解能が要求される領域に計算予算を割り当てるために適応メッシュ改良(AMR)に大きく依存する。
既存のスケーラブルなAMR法は、瞬時誤差推定に基づくヒューリスティックな精細化決定を行うため、シミュレーション全体に対して長期的最適性を目指していない。
本研究では, AMRをマルコフ決定プロセスとして新規に定式化し,深層強化学習(RL)を用いてシミュレーションから直接改良政策を訓練する手法を提案する。
AMRは、状態次元と利用可能なアクションセットの両方がすべてのステップで変化するという点でRLに新しい問題を引き起こします。
これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
我々は、静的関数推定と、RLポリシーが広く使用されているエラー推定器と競合し、より大きく、より複雑で、目に見えないテスト問題に一般化できるさまざまなフィールドのアドベクションに関する包括的な実験で実証します。
関連論文リスト
- Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-05T13:42:11Z) - Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。
LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。
我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
論文 参考訳(メタデータ) (2023-05-01T23:20:27Z) - Swarm Reinforcement Learning For Adaptive Mesh Refinement [11.201100158465394]
我々は,一連の課題に対して信頼性,拡張性,効率的な改善戦略を学習する新しいAMRを開発した。
提案手法は, 複雑なシミュレーションにおける一様改良に比べて最大30倍の高速化を実現した。
論文 参考訳(メタデータ) (2023-04-03T09:07:17Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳(メタデータ) (2022-11-03T16:42:40Z) - Multi-Agent Reinforcement Learning for Adaptive Mesh Refinement [17.72127385405445]
完全協調型マルコフゲームとしてアダプティブメッシュリファインメント(AMR)の新たな定式化を提案する。
VDGN(Value Decomposition Graph Network)と呼ばれる新しい深層マルチエージェント強化学習アルゴリズムを設計する。
VDGNポリシは,グローバルエラーおよびコスト指標において,エラーしきい値に基づくポリシよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2022-11-02T00:41:32Z) - A General Framework for Sample-Efficient Function Approximation in
Reinforcement Learning [132.45959478064736]
モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。
最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。
本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-09-30T17:59:16Z) - Deep Reinforcement Learning for Adaptive Mesh Refinement [0.9281671380673306]
我々は数値シミュレーションから直接AMR戦略のポリシーネットワークを訓練する。
トレーニング過程は、偏微分方程式に対する厳密な解や高忠実な基底真理を必要としない。
深層強化学習政策は、一般的なAMRと競合し、問題クラス全体にわたってうまく一般化し、精度とコストのバランスが良好であることを示す。
論文 参考訳(メタデータ) (2022-09-25T23:45:34Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳(メタデータ) (2022-09-15T07:22:58Z) - A Unifying Multi-sampling-ratio CS-MRI Framework With Two-grid-cycle
Correction and Geometric Prior Distillation [7.643154460109723]
本稿では,モデルベースと深層学習に基づく手法の利点を融合して,深層展開型マルチサンプリング比CS-MRIフレームワークを提案する。
マルチグリッドアルゴリズムにインスパイアされ、まずCS-MRIに基づく最適化アルゴリズムを補正蒸留方式に組み込む。
各段の圧縮サンプリング比から適応的なステップ長と雑音レベルを学習するために条件モジュールを用いる。
論文 参考訳(メタデータ) (2022-05-14T13:36:27Z) - Sample Complexity of Robust Reinforcement Learning with a Generative
Model [0.0]
本稿では,モデルに基づく強化学習(RL)アルゴリズムを提案する。
我々は,全変動距離,カイ二乗発散,KL発散の3種類の不確実性集合を考察した。
この結果に加えて,ロバストポリシの利点に関する公式な分析的議論も提示する。
論文 参考訳(メタデータ) (2021-12-02T18:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。