Fugu-MT 論文翻訳(概要): LeMON: Learning to Learn Multi-Operator Networks

論文の概要: LeMON: Learning to Learn Multi-Operator Networks

arxiv url: http://arxiv.org/abs/2408.16168v1
Date: Wed, 28 Aug 2024 23:20:03 GMT
ステータス: 処理完了
システム内更新日: 2024-08-30 15:34:56.819622
Title: LeMON: Learning to Learn Multi-Operator Networks
Title（参考訳）: LeMON: マルチオペレータネットワークを学ぶ
Authors: Jingmin Sun, Zecheng Zhang, Hayden Schaeffer,
Abstract要約: シングルオペレータ学習では、特定のオペレータを学ぶために、ディープニューラルネットワークをトレーニングする。マルチオペレータ学習における最近の研究は、演算子埋め込み構造を使用して、複数の演算子のデータ上で単一のニューラルネットワークをトレーニングしている。マルチオペレータ学習を用いてPDEを解くための事前学習および微調整戦略を提案する。
参考スコア（独自算出の注目度）: 0.6554326244334868
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Single-operator learning involves training a deep neural network to learn a specific operator, whereas recent work in multi-operator learning uses an operator embedding structure to train a single neural network on data from multiple operators. Thus, multi-operator learning is capable of predicting a range of operators within one model. In this work, we propose pretraining and fine-tuning strategies for solving PDEs using multi-operator learning. One key aspect is that by increasing the number of families of operators used in pretraining, a PDE foundation model can be fine-tuned to downstream tasks involving new PDEs with a limited number of samples, thus outperforming single operator neural networks. Specifically, a multi-operator learning model pre-trained with data from diverse PDE families can predict unseen operators after fine-tuning with only a limited number of operators from the new family, enabling them to serve as a data-free PDE solver. We also show that the proposed training and fine-tuning method is able to predict new operators in zero-shot prediction without samples. Additionally, we introduce a PDE-agnostic meta-learning algorithm to improve the adaptability of the model to various PDEs by providing a better parameter initialization process. To address the needs of applications with limited computing resources, we explore low-rank adaptation methods that reduce computational costs while enhancing solver accuracy. Lastly, by examining the scaling law with respect to the number of operator families, we establish and highlight its potential for broad adaptation in PDE-solving tasks.
Abstract（参考訳）: シングルオペレータ学習では、特定のオペレータを学ぶためにディープニューラルネットワークをトレーニングする一方で、マルチオペレータ学習における最近の研究では、複数のオペレータのデータに対して単一のニューラルネットワークをトレーニングするために、オペレータの埋め込み構造を使用している。このように、マルチオペレータ学習は、1つのモデル内の演算子の範囲を予測することができる。本研究では,多元学習を用いたPDEの事前学習と微調整手法を提案する。 1つの重要な側面は、プレトレーニングで使用される演算子のファミリーの数を増やすことにより、PDEファンデーションモデルは、サンプル数に制限された新しいPDEを含む下流タスクに微調整され、単一の演算子ニューラルネットワークよりも優れていることである。具体的には、多種多様なPDEファミリーのデータで事前訓練されたマルチオペレータ学習モデルは、新しいファミリーの限られた数の演算子で微調整した後、未知の演算子を予測することができ、データフリーのPDEソルバとして機能する。また,提案手法は,サンプルを使わずにゼロショット予測において,新たな演算子を予測できることを示す。さらに,パラメータ初期化プロセスの改善により,PDEに依存しないメタ学習アルゴリズムを導入し,モデルの各種PDEへの適応性を向上させる。計算資源が限られているアプリケーションのニーズに対処するため,計算コストを低減し,解法精度を向上する低ランク適応法を検討する。最後に、演算子族数に関するスケーリング法則を検討することにより、PDE解決タスクに広く適応する可能性を確立し、強調する。

関連論文リスト

DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning [6.635683993472882]
マルチオペレータ学習を実現するためのファインチューニング手法を提案する。本手法は,事前学習における各種演算子からのデータを分散学習と組み合わせ,物理インフォームド手法によりゼロショット微調整が可能となる。
論文参考訳（メタデータ） (2024-11-11T18:58:46Z)
Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文参考訳（メタデータ） (2024-08-21T06:48:38Z)
DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
論文参考訳（メタデータ） (2024-06-14T07:45:07Z)
MODNO: Multi Operator Learning With Distributed Neural Operators [0.8702432681310401]
演算子学習の研究には、ニューラルネットワークを近似演算子に利用することが含まれる。近年の進歩は、数百万から数十億のトレーニング可能なパラメータを備えた基礎モデルを用いた複数の演算子の近似に繋がった。本稿では,パラメータが大幅に少ない1つのニューラル演算子で,マルチオペレータ学習の課題に対処することを目的とした,分散トレーニング手法を提案する。
論文参考訳（メタデータ） (2024-04-03T17:49:41Z)
A foundational neural operator that continuously learns without forgetting [1.0878040851638]
本稿では,科学計算の基礎モデルとしてNeural Combinatorial Wavelet Neural Operator (NCWNO) の概念を紹介する。 NCWNOは、物理学の様々なスペクトルから学習し、パラメトリック偏微分方程式(PDE)に関連する解作用素に継続的に適応するように特別に設計されている。提案した基礎モデルには、2つの大きな利点がある: (i) 複数のパラメトリックPDEに対する解演算子を同時に学習し、 (ii) 極小調整の少ない新しいパラメトリックPDEに素早く一般化できる。
論文参考訳（メタデータ） (2023-10-29T03:20:10Z)
PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文参考訳（メタデータ） (2023-09-13T17:55:11Z)
Variational operator learning: A unified paradigm marrying training neural operators and solving partial differential equations [9.148052787201797]
ニューラル演算子を訓練し、変分形式でPDEを解くための統一的な枠組みを提供する新しいパラダイムを提案する。ラベルなしのトレーニングセットと5ラベルのみのシフトセットにより、VOLは、未ラベルデータの量に関して、そのテストエラーが電力法則で減少して解演算子を学習する。
論文参考訳（メタデータ） (2023-04-09T13:20:19Z)
Reliable extrapolation of deep neural operators informed by physics or sparse observations [2.887258133992338]
ディープニューラルネットワークは、ディープニューラルネットワークを介して無限次元関数空間間の非線形マッピングを学習することができる。 DeepONetsは科学と工学の新しいシミュレーションパラダイムを提供する。本稿では,外挿下での安全な予測を保証する5つの信頼性学習手法を提案する。
論文参考訳（メタデータ） (2022-12-13T03:02:46Z)
Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文参考訳（メタデータ） (2021-08-19T03:56:49Z)
Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文参考訳（メタデータ） (2020-09-08T13:26:51Z)
Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文参考訳（メタデータ） (2020-04-24T14:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。