論文の概要: Variational multiscale reinforcement learning for discovering reduced
order closure models of nonlinear spatiotemporal transport systems
- arxiv url: http://arxiv.org/abs/2207.12854v1
- Date: Thu, 7 Jul 2022 19:58:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-31 14:49:20.177233
- Title: Variational multiscale reinforcement learning for discovering reduced
order closure models of nonlinear spatiotemporal transport systems
- Title(参考訳): 非線形時空間輸送系の低次閉鎖モデル探索のための変分多スケール強化学習
- Authors: Omer San, Suraj Pawar, Adil Rasheed
- Abstract要約: 閉包モデルは、多くの非線形力学系において、順序表現の減少による損失を考慮に入れるのに一般的である。
本研究では,ガレルキン射影に基づく縮小順序モデルの安定化を目的とした動的閉包モデルと探索フレームワークを提案する。
まず、モード依存クロージャポリシーを発見するためのマルチモーダルRL(MMRL)を提案する。
次に,報奨関数の設計において,高忠実度データへのアクセスを必要とせずに閉包モデルを発見するために,変分多スケールRL (VMRL) アプローチを定式化する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A central challenge in the computational modeling and simulation of a
multitude of science applications is to achieve robust and accurate closures
for their coarse-grained representations due to underlying highly nonlinear
multiscale interactions. These closure models are common in many nonlinear
spatiotemporal systems to account for losses due to reduced order
representations, including many transport phenomena in fluids. Previous
data-driven closure modeling efforts have mostly focused on supervised learning
approaches using high fidelity simulation data. On the other hand,
reinforcement learning (RL) is a powerful yet relatively uncharted method in
spatiotemporally extended systems. In this study, we put forth a modular
dynamic closure modeling and discovery framework to stabilize the Galerkin
projection based reduced order models that may arise in many nonlinear
spatiotemporal dynamical systems with quadratic nonlinearity. However, a key
element in creating a robust RL agent is to introduce a feasible reward
function, which can be constituted of any difference metrics between the RL
model and high fidelity simulation data. First, we introduce a multi-modal RL
(MMRL) to discover mode-dependant closure policies that utilize the high
fidelity data in rewarding our RL agent. We then formulate a variational
multiscale RL (VMRL) approach to discover closure models without requiring
access to the high fidelity data in designing the reward function.
Specifically, our chief innovation is to leverage variational multiscale
formalism to quantify the difference between modal interactions in Galerkin
systems. Our results in simulating the viscous Burgers equation indicate that
the proposed VMRL method leads to robust and accurate closure
parameterizations, and it may potentially be used to discover scale-aware
closure models for complex dynamical systems.
- Abstract(参考訳): 多数の科学応用の計算モデリングとシミュレーションにおける中心的な課題は、高非線形多スケール相互作用による粗粒表現のロバストで正確な閉包を達成することである。
これらの閉包モデルは多くの非線形時空間系において、流体中の多くの輸送現象を含む減次表現による損失を考慮に入れるために一般的である。
従来のデータ駆動クロージャモデリングの取り組みは、主に高忠実度シミュレーションデータを用いた教師付き学習アプローチに重点を置いてきた。
一方、強化学習(RL)は時空間拡張システムにおいて強力だが比較的非チャートな手法である。
本研究では,2次非線形性を持つ多くの非線形時空間力学系において生じる可能性のあるガレルキン射影に基づく縮小順序モデルを安定化するモジュラー動的閉包モデルと発見フレームワークを提案する。
しかし、ロバストなRLエージェントを作成する上で重要な要素は、RLモデルと高忠実度シミュレーションデータとの差分メトリクスから構成できる、実現可能な報酬関数を導入することである。
まず、マルチモーダルRL(MMRL)を導入し、高忠実度データを利用したモード依存クロージャポリシーを発見し、RLエージェントに報酬を与える。
次に、報酬関数の設計において、高い忠実度データにアクセスすることなく閉包モデルを発見するための変分多スケールrl(vmrl)アプローチを定式化する。
特に、私たちの主なイノベーションは、ガレルキン系における様相相互作用の違いを定量化するために変分多スケール形式を活用することです。
粘性バーガース方程式のシミュレーション結果から,提案したVMRL法はロバストかつ高精度なクロージャパラメータ化を導出し,複雑な力学系に対するスケールアウェア・クロージャモデルの検出に有用である可能性が示唆された。
関連論文リスト
- Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳(メタデータ) (2023-12-30T17:05:31Z) - Diffusion-Generative Multi-Fidelity Learning for Physical Simulation [24.723536390322582]
本研究では,微分方程式(SDE)に基づく拡散生成多忠実学習法を開発した。
付加的な入力(時間変数や空間変数)を条件にすることで、我々のモデルは効率的に多次元の解列を学習し、予測することができる。
論文 参考訳(メタデータ) (2023-11-09T18:59:05Z) - Learning a model is paramount for sample efficiency in reinforcement
learning control of PDEs [5.488334211013093]
RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。
また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
論文 参考訳(メタデータ) (2023-02-14T16:14:39Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳(メタデータ) (2022-10-15T17:57:43Z) - Data-driven Control of Agent-based Models: an Equation/Variable-free
Machine Learning Approach [0.0]
複雑/マルチスケールシステムの集合力学を制御するための方程式/変数自由機械学習(EVFML)フレームワークを提案する。
提案手法は3段階からなる: (A) 高次元エージェントベースシミュレーション、機械学習(特に非線形多様体学習(DM))
創発力学の数値分岐解析を行うために方程式のない手法を用いる。
我々は,エージェントをベースとしたシミュレータを本質的で不正確に知られ,創発的なオープンループ定常状態に駆動する,データ駆動型組込み洗浄制御器を設計する。
論文 参考訳(メタデータ) (2022-07-12T18:16:22Z) - Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。
本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。
疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
論文 参考訳(メタデータ) (2022-06-10T04:54:13Z) - Using scientific machine learning for experimental bifurcation analysis
of dynamic systems [2.204918347869259]
本研究は、極限サイクルを持つ物理非線形力学系に対する普遍微分方程式(UDE)モデルの訓練に焦点をあてる。
数値シミュレーションによりトレーニングデータを生成する例を考察するとともに,提案するモデリング概念を物理実験に適用する。
ニューラルネットワークとガウス過程の両方を、力学モデルと共に普遍近似器として使用し、UDEモデリングアプローチの正確性と堅牢性を批判的に評価する。
論文 参考訳(メタデータ) (2021-10-22T15:43:03Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Reinforcement Learning as One Big Sequence Modeling Problem [84.84564880157149]
強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。
我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
論文 参考訳(メタデータ) (2021-06-03T17:58:51Z) - Neural Closure Models for Dynamical Systems [35.000303827255024]
低忠実度モデルに対する非マルコフ閉閉パラメータ化を学習する新しい手法を開発した。
ニューラルクロージャモデル」はニューラル遅延微分方程式(nDDE)を用いた低忠実度モデルを強化する
非マルコヴィアンオーバーマルコヴィアンクロージャを使用することで、長期的精度が向上し、より小さなネットワークが必要であることを示した。
論文 参考訳(メタデータ) (2020-12-27T05:55:33Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳(メタデータ) (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。