論文の概要: Variational multiscale reinforcement learning for discovering reduced order closure models of nonlinear spatiotemporal transport systems

• arxiv url: http://arxiv.org/abs/2207.12854v1
• Date: Thu, 7 Jul 2022 19:58:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-31 14:49:20.177233
• Title: Variational multiscale reinforcement learning for discovering reduced order closure models of nonlinear spatiotemporal transport systems
• Title（参考訳）: 非線形時空間輸送系の低次閉鎖モデル探索のための変分多スケール強化学習
• Authors: Omer San, Suraj Pawar, Adil Rasheed
• Abstract要約: 閉包モデルは、多くの非線形力学系において、順序表現の減少による損失を考慮に入れるのに一般的である。 本研究では,ガレルキン射影に基づく縮小順序モデルの安定化を目的とした動的閉包モデルと探索フレームワークを提案する。 まず、モード依存クロージャポリシーを発見するためのマルチモーダルRL(MMRL)を提案する。 次に,報奨関数の設計において,高忠実度データへのアクセスを必要とせずに閉包モデルを発見するために,変分多スケールRL (VMRL) アプローチを定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central challenge in the computational modeling and simulation of a multitude of science applications is to achieve robust and accurate closures for their coarse-grained representations due to underlying highly nonlinear multiscale interactions. These closure models are common in many nonlinear spatiotemporal systems to account for losses due to reduced order representations, including many transport phenomena in fluids. Previous data-driven closure modeling efforts have mostly focused on supervised learning approaches using high fidelity simulation data. On the other hand, reinforcement learning (RL) is a powerful yet relatively uncharted method in spatiotemporally extended systems. In this study, we put forth a modular dynamic closure modeling and discovery framework to stabilize the Galerkin projection based reduced order models that may arise in many nonlinear spatiotemporal dynamical systems with quadratic nonlinearity. However, a key element in creating a robust RL agent is to introduce a feasible reward function, which can be constituted of any difference metrics between the RL model and high fidelity simulation data. First, we introduce a multi-modal RL (MMRL) to discover mode-dependant closure policies that utilize the high fidelity data in rewarding our RL agent. We then formulate a variational multiscale RL (VMRL) approach to discover closure models without requiring access to the high fidelity data in designing the reward function. Specifically, our chief innovation is to leverage variational multiscale formalism to quantify the difference between modal interactions in Galerkin systems. Our results in simulating the viscous Burgers equation indicate that the proposed VMRL method leads to robust and accurate closure parameterizations, and it may potentially be used to discover scale-aware closure models for complex dynamical systems.
• Abstract（参考訳）: 多数の科学応用の計算モデリングとシミュレーションにおける中心的な課題は、高非線形多スケール相互作用による粗粒表現のロバストで正確な閉包を達成することである。 これらの閉包モデルは多くの非線形時空間系において、流体中の多くの輸送現象を含む減次表現による損失を考慮に入れるために一般的である。 従来のデータ駆動クロージャモデリングの取り組みは、主に高忠実度シミュレーションデータを用いた教師付き学習アプローチに重点を置いてきた。 一方、強化学習(RL)は時空間拡張システムにおいて強力だが比較的非チャートな手法である。 本研究では,2次非線形性を持つ多くの非線形時空間力学系において生じる可能性のあるガレルキン射影に基づく縮小順序モデルを安定化するモジュラー動的閉包モデルと発見フレームワークを提案する。 しかし、ロバストなRLエージェントを作成する上で重要な要素は、RLモデルと高忠実度シミュレーションデータとの差分メトリクスから構成できる、実現可能な報酬関数を導入することである。 まず、マルチモーダルRL(MMRL)を導入し、高忠実度データを利用したモード依存クロージャポリシーを発見し、RLエージェントに報酬を与える。 次に、報酬関数の設計において、高い忠実度データにアクセスすることなく閉包モデルを発見するための変分多スケールrl(vmrl)アプローチを定式化する。 特に、私たちの主なイノベーションは、ガレルキン系における様相相互作用の違いを定量化するために変分多スケール形式を活用することです。 粘性バーガース方程式のシミュレーション結果から,提案したVMRL法はロバストかつ高精度なクロージャパラメータ化を導出し,複雑な力学系に対するスケールアウェア・クロージャモデルの検出に有用である可能性が示唆された。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Data-Driven Stochastic Closure Modeling via Conditional Diffusion Model and Neural Operator [0.0]
  クロージャモデルは、乱流や地球系のような複雑なマルチスケール力学系をシミュレートするのに広く用いられている。 明確なスケールを持たないシステムでは、一般化決定論的および局所閉包モデルは十分な能力に欠けることが多い。 ニューラル演算子と非局所クロージャモデルを構築するためのデータ駆動モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T05:21:31Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)
• Data-driven Control of Agent-based Models: an Equation/Variable-free Machine Learning Approach [0.0]
  複雑/マルチスケールシステムの集合力学を制御するための方程式/変数自由機械学習(EVFML)フレームワークを提案する。 提案手法は3段階からなる: (A) 高次元エージェントベースシミュレーション、機械学習(特に非線形多様体学習(DM)) 創発力学の数値分岐解析を行うために方程式のない手法を用いる。 我々は,エージェントをベースとしたシミュレータを本質的で不正確に知られ,創発的なオープンループ定常状態に駆動する,データ駆動型組込み洗浄制御器を設計する。
  論文  参考訳（メタデータ） (2022-07-12T18:16:22Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• Using scientific machine learning for experimental bifurcation analysis of dynamic systems [2.204918347869259]
  本研究は、極限サイクルを持つ物理非線形力学系に対する普遍微分方程式(UDE)モデルの訓練に焦点をあてる。 数値シミュレーションによりトレーニングデータを生成する例を考察するとともに,提案するモデリング概念を物理実験に適用する。 ニューラルネットワークとガウス過程の両方を、力学モデルと共に普遍近似器として使用し、UDEモデリングアプローチの正確性と堅牢性を批判的に評価する。
  論文  参考訳（メタデータ） (2021-10-22T15:43:03Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Reinforcement Learning as One Big Sequence Modeling Problem [84.84564880157149]
  強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。 我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
  論文  参考訳（メタデータ） (2021-06-03T17:58:51Z)
• Neural Closure Models for Dynamical Systems [35.000303827255024]
  低忠実度モデルに対する非マルコフ閉閉パラメータ化を学習する新しい手法を開発した。 ニューラルクロージャモデル」はニューラル遅延微分方程式(nDDE)を用いた低忠実度モデルを強化する 非マルコヴィアンオーバーマルコヴィアンクロージャを使用することで、長期的精度が向上し、より小さなネットワークが必要であることを示した。
  論文  参考訳（メタデータ） (2020-12-27T05:55:33Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。