論文の概要: Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning

• arxiv url: http://arxiv.org/abs/2402.15734v3
• Date: Mon, 28 Oct 2024 00:53:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:18:04.502553
• Title: Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning
• Title（参考訳）: 教師なし事前学習と文脈学習によるデータ効率の良い演算子学習
• Authors: Wuyang Chen, Jialin Song, Pu Ren, Shashank Subramanian, Dmitriy Morozov, Michael W. Mahoney,
• Abstract要約: 本研究では,PDE演算子学習のための教師なし事前学習を設計する。 シミュレーションソリューションを使わずにラベルなしのPDEデータをマイニングし、物理に着想を得た再構成ベースのプロキシタスクでニューラルネットワークを事前訓練する。 提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
• 参考スコア（独自算出の注目度）: 45.78096783448304
• License:
• Abstract: Recent years have witnessed the promise of coupling machine learning methods and physical domain-specific insights for solving scientific problems based on partial differential equations (PDEs). However, being data-intensive, these methods still require a large amount of PDE data. This reintroduces the need for expensive numerical PDE solutions, partially undermining the original goal of avoiding these expensive simulations. In this work, seeking data efficiency, we design unsupervised pretraining for PDE operator learning. To reduce the need for training data with heavy simulation costs, we mine unlabeled PDE data without simulated solutions, and we pretrain neural operators with physics-inspired reconstruction-based proxy tasks. To improve out-of-distribution performance, we further assist neural operators in flexibly leveraging a similarity-based method that learns in-context examples, without incurring extra training costs or designs. Extensive empirical evaluations on a diverse set of PDEs demonstrate that our method is highly data-efficient, more generalizable, and even outperforms conventional vision-pretrained models. We provide our code at https://github.com/delta-lab-ai/data_efficient_nopt.
• Abstract（参考訳）: 近年、偏微分方程式(PDE)に基づく科学的問題の解法として、機械学習手法と物理領域固有の洞察の結合が期待されている。 しかし、データ集約型であるため、これらの手法は依然として大量のPDEデータを必要とする。 これにより、高価な数値PDEソリューションの必要性が再燃し、こうした高価なシミュレーションを避けるという当初の目標を部分的に損なうことになる。 本研究では,PDE演算子学習のための教師なし事前学習を設計する。 シミュレーションコストの重いトレーニングデータの必要性を低減するため、シミュレーションされたソリューションを使わずにラベルなしのPDEデータをマイニングし、物理にインスパイアされた再構成に基づくプロキシタスクでニューラルネットワークを事前訓練する。 アウト・オブ・ディストリビューション性能を改善するために、我々は、余分なトレーニングコストや設計を伴わずに、コンテキスト内サンプルを学習する類似性に基づく手法を柔軟に活用する神経オペレーターを支援する。 PDEの多種多様な集合に対する広範囲な実験評価により,本手法はデータ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れていたことが証明された。 私たちはhttps://github.com/delta-lab-ai/data_efficient_nopt.comでコードを公開しています。

関連論文リスト

• DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning [6.635683993472882]
  マルチオペレータ学習を実現するためのファインチューニング手法を提案する。 本手法は,事前学習における各種演算子からのデータを分散学習と組み合わせ,物理インフォームド手法によりゼロショット微調整が可能となる。
  論文  参考訳（メタデータ） (2024-11-11T18:58:46Z)
• DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
  我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。 既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。 直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
  論文  参考訳（メタデータ） (2024-06-14T07:45:07Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Self-Supervised Learning with Lie Symmetries for Partial Differential Equations [25.584036829191902]
  我々は、自己教師付き学習(SSL)のための共同埋め込み手法を実装することにより、PDEの汎用表現を学習する。 我々の表現は、PDEの係数の回帰などの不変タスクに対するベースラインアプローチよりも優れており、また、ニューラルソルバのタイムステッピング性能も向上している。 提案手法がPDEの汎用基盤モデルの開発に有効であることを期待する。
  論文  参考訳（メタデータ） (2023-07-11T16:52:22Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Variational operator learning: A unified paradigm marrying training neural operators and solving partial differential equations [9.148052787201797]
  ニューラル演算子を訓練し、変分形式でPDEを解くための統一的な枠組みを提供する新しいパラダイムを提案する。 ラベルなしのトレーニングセットと5ラベルのみのシフトセットにより、VOLは、未ラベルデータの量に関して、そのテストエラーが電力法則で減少して解演算子を学習する。
  論文  参考訳（メタデータ） (2023-04-09T13:20:19Z)
• Elliptic PDE learning is provably data-efficient [7.097838977449412]
  PDE学習は物理と機械学習を組み合わせて未知の物理システムを実験データから復元する。 我々の研究は、PDE学習に必要な入出力トレーニングペアの数に関する理論的保証を提供する。 具体的には、ランダム化された数値線形代数とPDE理論を利用して、入力出力データから3次元楕円型PDEの解演算子を復元する証明可能なデータ効率のアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-02-24T20:51:23Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。