論文の概要: Latent Neural Operator Pretraining for Solving Time-Dependent PDEs

• arxiv url: http://arxiv.org/abs/2410.20100v1
• Date: Sat, 26 Oct 2024 06:57:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:20:24.949346
• Title: Latent Neural Operator Pretraining for Solving Time-Dependent PDEs
• Title（参考訳）: 時間依存型PDEのための潜時ニューラルネットワークプレトレーニング
• Authors: Tian Wang, Chuang Wang,
• Abstract要約: 本稿では,LNO(Latent Neural Operator Pretraining)をベースとしたLNOP(Latent Neural Operator Pretraining)フレームワークを提案する。 提案するLNOPフレームワークは, 4つの問題に対して解の誤差を31.7%削減し, 微調整後の57.1%まで改善することができる。 これらの結果から,本手法は非制約のニューラル演算子に比べて解の精度,転送能力,データ効率の面で競争力が高いことがわかった。
• 参考スコア（独自算出の注目度）: 5.8039987932401225
• License:
• Abstract: Pretraining methods gain increasing attraction recently for solving PDEs with neural operators. It alleviates the data scarcity problem encountered by neural operator learning when solving single PDE via training on large-scale datasets consisting of various PDEs and utilizing shared patterns among different PDEs to improve the solution precision. In this work, we propose the Latent Neural Operator Pretraining (LNOP) framework based on the Latent Neural Operator (LNO) backbone. We achieve universal transformation through pretraining on hybrid time-dependent PDE dataset to extract representations of different physical systems and solve various time-dependent PDEs in the latent space through finetuning on single PDE dataset. Our proposed LNOP framework reduces the solution error by 31.7% on four problems and can be further improved to 57.1% after finetuning. On out-of-distribution dataset, our LNOP model achieves roughly 50% lower error and 3$\times$ data efficiency on average across different dataset sizes. These results show that our method is more competitive in terms of solution precision, transfer capability and data efficiency compared to non-pretrained neural operators.
• Abstract（参考訳）: プレトレーニング手法は近年,ニューラル演算子を用いたPDEの解法として注目度が高まっている。 さまざまなPDEで構成された大規模データセットをトレーニングし、さまざまなPDE間で共有パターンを利用することで、ソリューションの精度を向上させることによって、単一PDEの解決において、ニューラルネットワークが直面するデータ不足の問題を軽減する。 本稿では,LNO(Latent Neural Operator Pretraining)のバックボーンに基づくLNOP(Latent Neural Operator Pretraining)フレームワークを提案する。 本研究では,異なる物理系の表現を抽出し,単一PDEデータセットの微調整により,潜在空間における様々な時間依存PDEを解決するために,ハイブリッド時間依存PDEデータセットの事前学習を通じて普遍的な変換を実現する。 提案するLNOPフレームワークは, 4つの問題に対して解の誤差を31.7%削減し, 微調整後の57.1%まで改善することができる。 アウト・オブ・ディストリビューションデータセットでは、当社のLNOPモデルは、データセットサイズによって平均50%低いエラーと3$\times$データ効率を実現しています。 これらの結果から,本手法は非制約のニューラル演算子に比べて解の精度,転送能力,データ効率の面で競争力が高いことがわかった。

関連論文リスト

• Active Learning for Neural PDE Solvers [18.665448858377694]
  Active Learningは、モデルをより小さなトレーニングセットで同じ精度でサロゲートするのに役立ちます。 モジュール型かつアクティブな学習ベンチマークであるAL4PDEを紹介する。 ALは,ランダムサンプリングと比較して平均誤差を最大71%削減することを示した。
  論文  参考訳（メタデータ） (2024-08-02T18:48:58Z)
• Pretraining a Neural Operator in Lower Dimensions [7.136205674624813]
  本研究では,データ収集が最安値である低次元PDE(PreLowD)上でのプレトレーニング型ニューラルPDEソルバを提案する。 我々は,この事前学習戦略の有効性を,高次元のPDEで評価した。
  論文  参考訳（メタデータ） (2024-07-24T20:06:12Z)
• UPS: Efficiently Building Foundation Models for PDE Solving via Cross-Modal Adaptation [25.063470461409686]
  UPSは異なるPDEを共有表現空間に埋め込み、F変換アーキテクチャを用いてそれらを処理する。 クロスモーダルUPSは、PDEBenchから1Dと2DのPDEファミリを幅広く利用し、データ転送の4倍、計算の26倍の精度で既存の統一モデルより優れている。
  論文  参考訳（メタデータ） (2024-03-11T22:00:39Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
  定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:34:57Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Neural Partial Differential Equations with Functional Convolution [30.35306295442881]
  本稿では、隠れた構造を発見し、異なる非線形PDEの解を予測するために、軽量なニューラルPDE表現を提案する。 我々は、数値PDE微分演算子の「翻訳類似性」の先行を利用して、学習モデルとトレーニングデータのスケールを大幅に削減する。
  論文  参考訳（メタデータ） (2023-03-10T04:25:38Z)
• DIFUSCO: Graph-based Diffusion Solvers for Combinatorial Optimization [51.517956081644186]
  グラフベースの拡散フレームワークであるDIFUSCOを導入する。 本フレームワークは, NPC問題を離散0, 1ベクトル最適化問題とみなす。 MIS問題に対して、DIFUSCOは、挑戦的なSATLIBベンチマークにおいて、以前の最先端のニューラルソルバよりも優れている。
  論文  参考訳（メタデータ） (2023-02-16T11:13:36Z)
• Lie Point Symmetry Data Augmentation for Neural PDE Solvers [69.72427135610106]
  本稿では,ニューラルPDEソルバサンプルの複雑性を改善することにより,この問題を部分的に緩和する手法を提案する。 PDEの文脈では、データ変換の完全なリストを定量的に導き出せることが分かりました。 神経性PDEソルバサンプルの複雑さを桁違いに改善するために、どのように容易に展開できるかを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:43:17Z)
• Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
  PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。 結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-11-06T03:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。