論文の概要: Self-supervised Pretraining for Partial Differential Equations
- arxiv url: http://arxiv.org/abs/2407.06209v1
- Date: Wed, 3 Jul 2024 16:39:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 22:32:40.857225
- Title: Self-supervised Pretraining for Partial Differential Equations
- Title（参考訳）: 部分微分方程式に対する自己教師付き事前学習
- Authors: Varun Madhavan, Amal S Sebastian, Bharath Ramsundar, Venkatasubramanian Viswanathan,
- Abstract要約: 本稿では、トランスフォーマーに基づくニューラルネットワークアーキテクチャの最近の進歩を活用し、ニューラルPDEソルバを構築するための新しいアプローチについて述べる。
我々のモデルは、ネットワークを再トレーニングすることなく、PDEパラメータの異なる値に対するソリューションを提供することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we describe a novel approach to building a neural PDE solver leveraging recent advances in transformer based neural network architectures. Our model can provide solutions for different values of PDE parameters without any need for retraining the network. The training is carried out in a self-supervised manner, similar to pretraining approaches applied in language and vision tasks. We hypothesize that the model is in effect learning a family of operators (for multiple parameters) mapping the initial condition to the solution of the PDE at any future time step t. We compare this approach with the Fourier Neural Operator (FNO), and demonstrate that it can generalize over the space of PDE parameters, despite having a higher prediction error for individual parameter values compared to the FNO. We show that performance on a specific parameter can be improved by finetuning the model with very small amounts of data. We also demonstrate that the model scales with data as well as model size.
- Abstract（参考訳）: 本稿では、トランスフォーマーに基づくニューラルネットワークアーキテクチャの最近の進歩を活用し、ニューラルPDEソルバを構築するための新しいアプローチについて述べる。
我々のモデルは、ネットワークを再トレーニングすることなく、PDEパラメータの異なる値に対するソリューションを提供することができる。
トレーニングは、言語や視覚タスクに適用された事前学習アプローチと同様、自己指導的な方法で実施される。
我々は、モデルが実効的に(複数のパラメータに対して)演算子の族を学習していると仮定し、初期条件を任意の将来のステップ t における PDE の解にマッピングする。
この手法をフーリエニューラル演算子(FNO)と比較し、FNOと比較して個々のパラメータ値の予測誤差が高いにもかかわらず、PDEパラメータの空間上で一般化できることを実証する。
非常に少ないデータ量でモデルを微調整することで、特定のパラメータの性能を向上させることができることを示す。
また、モデルのサイズだけでなく、データでスケールすることも示しています。
関連論文リスト
- Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。
このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。
得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文 参考訳（メタデータ） (2024-10-28T13:48:43Z) - Physics-informed Discretization-independent Deep Compositional Operator Network [1.2430809884830318]
我々はPDEパラメータと不規則領域形状の様々な離散表現に一般化できる新しい物理インフォームドモデルアーキテクチャを提案する。
ディープ・オペレーター・ニューラルネットワークにインスパイアされた我々のモデルは、パラメータの繰り返し埋め込みの離散化に依存しない学習を含む。
提案手法の精度と効率を数値計算により検証した。
論文 参考訳（メタデータ） (2024-04-21T12:41:30Z) - Neural Parameter Regression for Explicit Representations of PDE Solution Operators [22.355460388065964]
偏微分方程式(PDE)の解演算子を学習するための新しいフレームワークであるニューラル回帰(NPR)を導入する。
NPRは、ニューラルネットワーク(NN)パラメータを回帰するために、Physics-Informed Neural Network (PINN, Raissi et al., 2021) 技術を使用している。
このフレームワークは、新しい初期条件と境界条件に顕著な適応性を示し、高速な微調整と推論を可能にした。
論文 参考訳（メタデータ） (2024-03-19T14:30:56Z) - DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。
我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
論文 参考訳（メタデータ） (2024-03-06T08:38:34Z) - Reduced-order modeling for parameterized PDEs via implicit neural
representations [4.135710717238787]
我々は、パラメータ化偏微分方程式(PDE)を効率的に解くために、新しいデータ駆動型低次モデリング手法を提案する。
提案フレームワークは、PDEを符号化し、パラメトリゼーションニューラルネットワーク(PNODE)を用いて、複数のPDEパラメータを特徴とする潜時ダイナミクスを学習する。
我々は,提案手法を大規模なレイノルズ数で評価し,O(103)の高速化と,基底真理値に対する1%の誤差を得る。
論文 参考訳（メタデータ） (2023-11-28T01:35:06Z) - LatentPINNs: Generative physics-informed neural networks via a latent
representation learning [0.0]
本稿では,PDEパラメータの潜在表現をPINNに追加(座標に)入力として利用するフレームワークであるLatentPINNを紹介する。
まず,PDEパラメータの分布の潜在表現を学習する。
第2段階では、解領域内の座標空間からランダムに描画されたサンプルから得られる入力に対して、物理インフォームドニューラルネットワークを訓練する。
論文 参考訳（メタデータ） (2023-05-11T16:54:17Z) - Neural Partial Differential Equations with Functional Convolution [30.35306295442881]
本稿では、隠れた構造を発見し、異なる非線形PDEの解を予測するために、軽量なニューラルPDE表現を提案する。
我々は、数値PDE微分演算子の「翻訳類似性」の先行を利用して、学習モデルとトレーニングデータのスケールを大幅に削減する。
論文 参考訳（メタデータ） (2023-03-10T04:25:38Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Physics-Informed Neural Operator for Learning Partial Differential
Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。
結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文 参考訳（メタデータ） (2021-11-06T03:41:34Z) - Physics-constrained deep neural network method for estimating parameters
in a redox flow battery [68.8204255655161]
バナジウムフローバッテリ(VRFB)のゼロ次元(0D)モデルにおけるパラメータ推定のための物理拘束型ディープニューラルネットワーク(PCDNN)を提案する。
そこで, PCDNN法は, 動作条件のモデルパラメータを推定し, 電圧の0Dモデル予測を改善することができることを示す。
また,PCDNNアプローチでは,トレーニングに使用しない操作条件のパラメータ値を推定する一般化能力が向上することが実証された。
論文 参考訳（メタデータ） (2021-06-21T23:42:58Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳（メタデータ） (2021-06-03T12:59:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。