論文の概要: Data-Efficient Operator Learning via Unsupervised Pretraining and
In-Context Learning
- arxiv url: http://arxiv.org/abs/2402.15734v1
- Date: Sat, 24 Feb 2024 06:27:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 17:10:10.279135
- Title: Data-Efficient Operator Learning via Unsupervised Pretraining and
In-Context Learning
- Title(参考訳): unsupervised pretrainingとin-context learningによるデータ効率のよいオペレータラーニング
- Authors: Wuyang Chen, Jialin Song, Pu Ren, Shashank Subramanian, Dmitriy
Morozov, Michael W. Mahoney
- Abstract要約: PDE演算子学習のための教師なし事前学習とコンテキスト学習を設計する。
提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
- 参考スコア(独自算出の注目度): 48.51023783276896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed the promise of coupling machine learning methods
and physical domain-specific insight for solving scientific problems based on
partial differential equations (PDEs). However, being data-intensive, these
methods still require a large amount of PDE data. This reintroduces the need
for expensive numerical PDE solutions, partially undermining the original goal
of avoiding these expensive simulations. In this work, seeking data efficiency,
we design unsupervised pretraining and in-context learning methods for PDE
operator learning. To reduce the need for training data with simulated
solutions, we pretrain neural operators on unlabeled PDE data using
reconstruction-based proxy tasks. To improve out-of-distribution performance,
we further assist neural operators in flexibly leveraging in-context learning
methods, without incurring extra training costs or designs. Extensive empirical
evaluations on a diverse set of PDEs demonstrate that our method is highly
data-efficient, more generalizable, and even outperforms conventional
vision-pretrained models.
- Abstract(参考訳): 近年、偏微分方程式(PDE)に基づく科学的問題の解法として、機械学習手法と物理領域固有の洞察の結合が期待されている。
しかし、データ集約的でありながら、これらの方法は大量のpdeデータを必要とする。
これにより、高価な数値PDEソリューションの必要性を再導入し、こうした高価なシミュレーションを避けるという当初の目標を部分的に損なうことになる。
本研究では,PDE演算子学習のための教師なし事前学習とコンテキスト学習を設計する。
シミュレーションソリューションによるトレーニングデータの必要性を低減するため、リコンストラクションベースのプロキシタスクを用いて、ラベルなしPDEデータ上でニューラルネットワークを事前訓練する。
分散性能を向上させるため、追加のトレーニングコストや設計を伴わずに、ニューラルネットワークがコンテキスト内学習手法を柔軟に活用できるように支援する。
PDEの多種多様な集合に対する大規模な実験評価により,本手法はデータ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れていた。
関連論文リスト
- DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE
Pre-Training [90.82825098156299]
我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。
我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
論文 参考訳(メタデータ) (2024-03-06T08:38:34Z) - Parametric Learning of Time-Advancement Operators for Unstable Flame
Evolution [0.0]
本研究では、パラメトリック偏微分方程式(PDE)に対する時間適応演算子学習への機械学習の適用について検討する。
我々の焦点は、PDEパラメータを表す追加入力を処理するために既存の演算子学習方法を拡張することである。
目標は、短期的なソリューションを正確に予測し、堅牢な長期統計を提供する統一的な学習アプローチを作ることだ。
論文 参考訳(メタデータ) (2024-02-14T18:12:42Z) - Self-Supervised Learning with Lie Symmetries for Partial Differential
Equations [25.584036829191902]
我々は、自己教師付き学習(SSL)のための共同埋め込み手法を実装することにより、PDEの汎用表現を学習する。
我々の表現は、PDEの係数の回帰などの不変タスクに対するベースラインアプローチよりも優れており、また、ニューラルソルバのタイムステッピング性能も向上している。
提案手法がPDEの汎用基盤モデルの開発に有効であることを期待する。
論文 参考訳(メタデータ) (2023-07-11T16:52:22Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-28T12:02:27Z) - Variational operator learning: A unified paradigm marrying training
neural operators and solving partial differential equations [9.148052787201797]
ニューラル演算子を訓練し、変分形式でPDEを解くための統一的な枠組みを提供する新しいパラダイムを提案する。
ラベルなしのトレーニングセットと5ラベルのみのシフトセットにより、VOLは、未ラベルデータの量に関して、そのテストエラーが電力法則で減少して解演算子を学習する。
論文 参考訳(メタデータ) (2023-04-09T13:20:19Z) - Elliptic PDE learning is provably data-efficient [7.097838977449412]
PDE学習は物理と機械学習を組み合わせて未知の物理システムを実験データから復元する。
我々の研究は、PDE学習に必要な入出力トレーニングペアの数に関する理論的保証を提供する。
具体的には、ランダム化された数値線形代数とPDE理論を利用して、入力出力データから3次元楕円型PDEの解演算子を復元する証明可能なデータ効率のアルゴリズムを導出する。
論文 参考訳(メタデータ) (2023-02-24T20:51:23Z) - Few-shot Quality-Diversity Optimization [50.337225556491774]
品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。
本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。
ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
論文 参考訳(メタデータ) (2021-09-14T17:12:20Z) - Adversarial Multi-task Learning Enhanced Physics-informed Neural
Networks for Solving Partial Differential Equations [9.823102211212582]
本稿では,多タスク学習手法,不確実性強調損失,勾配手術を学習pdeソリューションの文脈で活用する新しいアプローチを提案する。
実験では,提案手法が有効であることが判明し,従来手法と比較して未発見のデータポイントの誤差を低減できた。
論文 参考訳(メタデータ) (2021-04-29T13:17:46Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳(メタデータ) (2020-09-08T13:26:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。