論文の概要: Neural Galerkin Scheme with Active Learning for High-Dimensional Evolution Equations

• arxiv url: http://arxiv.org/abs/2203.01360v1
• Date: Wed, 2 Mar 2022 19:09:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 15:25:46.404821
• Title: Neural Galerkin Scheme with Active Learning for High-Dimensional Evolution Equations
• Title（参考訳）: 高次元進化方程式に対するアクティブラーニングを用いたニューラルガレルキンスキーム
• Authors: Joan Bruna and Benjamin Peherstorfer and Eric Vanden-Eijnden
• Abstract要約: 深層学習を用いて、解に関する事前情報なしで、いつ、どこで必要なのかをオンザフライで生成することで、方程式を解く。 このアクティブな形式のデータ取得は、ニューラルネットワークの近似パワーを実現するために不可欠である。
• 参考スコア（独自算出の注目度）: 41.21069039049127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning methods have been shown to give accurate predictions in high dimensions provided that sufficient training data are available. Yet, many interesting questions in science and engineering involve situations where initially no data are available and the principal aim is to gather insights from a known model. Here we consider this problem in the context of systems whose evolution can be described by partial differential equations (PDEs). We use deep learning to solve these equations by generating data on-the-fly when and where they are needed, without prior information about the solution. The proposed Neural Galerkin schemes derive nonlinear dynamical equations for the network weights by minimization of the residual of the time derivative of the solution, and solve these equations using standard integrators for initial value problems. The sequential learning of the weights over time allows for adaptive collection of new input data for residual estimation. This step uses importance sampling informed by the current state of the solution, in contrast with other machine learning methods for PDEs that optimize the network parameters globally in time. This active form of data acquisition is essential to enable the approximation power of the neural networks and to break the curse of dimensionality faced by non-adaptative learning strategies. The applicability of the method is illustrated on several numerical examples involving high-dimensional PDEs, including advection equations with many variables, as well as Fokker-Planck equations for systems with several interacting particles.
• Abstract（参考訳）: 機械学習手法は、十分なトレーニングデータが利用可能であれば、高次元での正確な予測を与えることが示されている。 しかし、科学と工学における多くの興味深い質問は、当初データが入手できず、主要な目的は既知のモデルから洞察を集めることである。 ここでは、進化を偏微分方程式(PDE)で記述できるシステムの文脈において、この問題を考える。 ディープラーニングを使ってこれらの方程式を解き、その解に関する事前情報なしで、いつ、どこで必要なのかのデータを生成する。 提案するニューラルガレルキンスキームは、解の時間微分の残差を最小化し、ネットワークウェイトの非線形力学方程式を導出し、初期値問題の標準積分器を用いてこれらの方程式を解く。 重みの逐次学習は、残差推定のための新しい入力データの適応的な収集を可能にする。 このステップでは、ネットワークパラメータをグローバルに最適化するPDEのための他の機械学習手法とは対照的に、ソリューションの現在の状態から通知される重要サンプリングを使用する。 このアクティブなデータ取得形式は、ニューラルネットワークの近似能力を有効にし、非適応的学習戦略が直面する次元の呪いを破るために不可欠である。 この手法の適用性は、多数の変数を持つ対流方程式や、相互作用する粒子を持つ系に対するフォッカー・プランク方程式を含む高次元PDEを含むいくつかの数値例で説明される。

関連論文リスト

• Neural Incremental Data Assimilation [8.817223931520381]
  ニューラルネットワークによってパラメータ化された粗いガウス分布の列として物理系をモデル化する深層学習手法を提案する。 これにより、再構築エラーを最小限に抑えるためにエンドツーエンドで訓練された同化演算子を定義することができる。 本稿では,疎度観測によるカオス力学系へのアプローチについて述べるとともに,従来の変分データ同化法と比較する。
  論文  参考訳（メタデータ） (2024-06-21T11:42:55Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Stretched and measured neural predictions of complex network dynamics [2.1024950052120417]
  微分方程式のデータ駆動近似は、力学系のモデルを明らかにする従来の方法に代わる有望な方法である。 最近、ダイナミックスを研究する機械学習ツールとしてニューラルネットワークが採用されている。これは、データ駆動型ソリューションの検出や微分方程式の発見に使用できる。 従来の統計学習理論の限界を超えてモデルの一般化可能性を拡張することは可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-12T09:44:59Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Inverse-Dirichlet Weighting Enables Reliable Training of Physics Informed Neural Networks [2.580765958706854]
  我々は、深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを記述し、治療する。 PINNは、物理方程式モデルとデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。 逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。
  論文  参考訳（メタデータ） (2021-07-02T10:01:37Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
  この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。 我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。 残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
  論文  参考訳（メタデータ） (2020-01-07T13:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。