論文の概要: Transfer Learning on Multi-Fidelity Data
- arxiv url: http://arxiv.org/abs/2105.00856v1
- Date: Thu, 29 Apr 2021 00:06:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-04 13:35:46.862864
- Title: Transfer Learning on Multi-Fidelity Data
- Title（参考訳）: 多元性データを用いた転送学習
- Authors: Dong H. Song and Daniel M. Tartakovsky
- Abstract要約: ニューラルネットワーク(NNs)は、しばしば複素系のダイナミクスを記述する部分微分方程式(PDEs)のサロゲートまたはエミュレータとして用いられる。
私たちは、トランスファーラーニングを用いた深層畳み込みNN(CNN)のトレーニングのためにデータ生成コストを削減するために、マルチファイダリティシミュレーションに依存しています。
数値実験により,比較的多数の低忠実度データと少ない高忠実度データとを混合することにより,計算速度と予測精度の最適バランスが得られた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks (NNs) are often used as surrogates or emulators of partial
differential equations (PDEs) that describe the dynamics of complex systems. A
virtually negligible computational cost of such surrogates renders them an
attractive tool for ensemble-based computation, which requires a large number
of repeated PDE solves. Since the latter are also needed to generate sufficient
data for NN training, the usefulness of NN-based surrogates hinges on the
balance between the training cost and the computational gain stemming from
their deployment. We rely on multi-fidelity simulations to reduce the cost of
data generation for subsequent training of a deep convolutional NN (CNN) using
transfer learning. High- and low-fidelity images are generated by solving PDEs
on fine and coarse meshes, respectively. We use theoretical results for
multilevel Monte Carlo to guide our choice of the numbers of images of each
kind. We demonstrate the performance of this multi-fidelity training strategy
on the problem of estimation of the distribution of a quantity of interest,
whose dynamics is governed by a system of nonlinear PDEs (parabolic PDEs of
multi-phase flow in heterogeneous porous media) with uncertain/random
parameters. Our numerical experiments demonstrate that a mixture of a
comparatively large number of low-fidelity data and smaller numbers of high-
and low-fidelity data provides an optimal balance of computational speed-up and
prediction accuracy. The former is reported relative to both CNN training on
high-fidelity images only and Monte Carlo solution of the PDEs. The latter is
expressed in terms of both the Wasserstein distance and the Kullback-Leibler
divergence.
- Abstract（参考訳）: ニューラルネットワーク(nns)は、複雑なシステムのダイナミクスを記述する偏微分方程式(pdes)のサロゲートやエミュレータとしてよく用いられる。
このようなサロゲートの事実上無視可能な計算コストは、多くの繰り返しPDE解決を必要とするアンサンブルベースの計算の魅力的なツールとなる。
NNトレーニングに十分なデータを生成するためにも後者が必要であるため、NNベースのサロゲートの有用性は、トレーニングコストと、その展開から生じる計算利得のバランスに左右される。
我々は、転送学習を用いた深層畳み込みNN(CNN)の訓練において、データ生成コストを低減するために、多要素シミュレーションを利用する。
微細メッシュと粗メッシュでそれぞれpdesを解いて高精細画像と低精細画像を生成する。
我々は,マルチレベルモンテカルロの理論的結果を用いて,各種類の画像数の選択を導く。
非線形PDE(異種多孔質媒質における多相流のパラボリックPDE)と不確実/ランダムパラメータのシステムによって制御される関心量の分布を推定する問題に対して,この多相性トレーニング戦略の性能を実証する。
数値実験により,比較的多数の低忠実度データと少ない高忠実度データとを混合することにより,計算速度と予測精度の最適バランスが得られた。
前者は高忠実度画像のみのCNNトレーニングとPDEのモンテカルロソリューションの両方と比較して報告されている。
後者はwasserstein距離とkullback-leibler発散の両方で表される。
関連論文リスト
- Physics-informed deep learning and compressive collocation for high-dimensional diffusion-reaction equations: practical existence theory and numerics [5.380276949049726]
ディープラーニング(DL)に基づく高次元偏微分方程式の効率的な解法の開発と解析
理論的にも数値的にも,新しい安定かつ高精度なスペクトルコロケーション法と競合できることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:16:11Z) - Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning [45.78096783448304]
本研究では,PDE演算子学習のための教師なし事前学習を設計する。
シミュレーションソリューションを使わずにラベルなしのPDEデータをマイニングし、物理に着想を得た再構成ベースのプロキシタスクでニューラルネットワークを事前訓練する。
提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
論文 参考訳（メタデータ） (2024-02-24T06:27:33Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-28T12:02:27Z) - Multilevel CNNs for Parametric PDEs [0.0]
偏微分方程式に対する多段階解法の概念とニューラルネットワークに基づくディープラーニングを組み合わせる。
より詳細な理論的解析により,提案アーキテクチャは乗算Vサイクルを任意の精度で近似できることを示した。
最先端のディープラーニングベースの解法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-04-01T21:11:05Z) - Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳（メタデータ） (2023-01-30T04:58:40Z) - Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。
本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。
疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
論文 参考訳（メタデータ） (2022-06-10T04:54:13Z) - Efficient training of physics-informed neural networks via importance
sampling [2.9005223064604078]
Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。
重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
論文 参考訳（メタデータ） (2021-04-26T02:45:10Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z) - Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid
Flow Prediction [79.81193813215872]
我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。
ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
論文 参考訳（メタデータ） (2020-07-08T21:23:19Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。