論文の概要: A foundational neural operator that continuously learns without
forgetting
- arxiv url: http://arxiv.org/abs/2310.18885v1
- Date: Sun, 29 Oct 2023 03:20:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 15:56:11.257665
- Title: A foundational neural operator that continuously learns without
forgetting
- Title(参考訳): 忘れずに連続的に学習する基礎的神経オペレータ
- Authors: Tapas Tripura and Souvik Chakraborty
- Abstract要約: 本稿では,科学計算の基礎モデルとしてNeural Combinatorial Wavelet Neural Operator (NCWNO) の概念を紹介する。
NCWNOは、物理学の様々なスペクトルから学習し、パラメトリック偏微分方程式(PDE)に関連する解作用素に継続的に適応するように特別に設計されている。
提案した基礎モデルには、2つの大きな利点がある: (i) 複数のパラメトリックPDEに対する解演算子を同時に学習し、 (ii) 極小調整の少ない新しいパラメトリックPDEに素早く一般化できる。
- 参考スコア(独自算出の注目度): 1.0878040851638
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Machine learning has witnessed substantial growth, leading to the development
of advanced artificial intelligence models crafted to address a wide range of
real-world challenges spanning various domains, such as computer vision,
natural language processing, and scientific computing. Nevertheless, the
creation of custom models for each new task remains a resource-intensive
undertaking, demanding considerable computational time and memory resources. In
this study, we introduce the concept of the Neural Combinatorial Wavelet Neural
Operator (NCWNO) as a foundational model for scientific computing. This model
is specifically designed to excel in learning from a diverse spectrum of
physics and continuously adapt to the solution operators associated with
parametric partial differential equations (PDEs). The NCWNO leverages a gated
structure that employs local wavelet experts to acquire shared features across
multiple physical systems, complemented by a memory-based ensembling approach
among these local wavelet experts. This combination enables rapid adaptation to
new challenges. The proposed foundational model offers two key advantages: (i)
it can simultaneously learn solution operators for multiple parametric PDEs,
and (ii) it can swiftly generalize to new parametric PDEs with minimal
fine-tuning. The proposed NCWNO is the first foundational operator learning
algorithm distinguished by its (i) robustness against catastrophic forgetting,
(ii) the maintenance of positive transfer for new parametric PDEs, and (iii)
the facilitation of knowledge transfer across dissimilar tasks. Through an
extensive set of benchmark examples, we demonstrate that the NCWNO can
outperform task-specific baseline operator learning frameworks with minimal
hyperparameter tuning at the prediction stage. We also show that with minimal
fine-tuning, the NCWNO performs accurate combinatorial learning of new
parametric PDEs.
- Abstract(参考訳): 機械学習は大幅に成長し、コンピュータビジョン、自然言語処理、科学計算など、さまざまな領域にまたがる幅広い現実世界の課題に対処するために開発された高度な人工知能モデルの開発につながった。
それでも、新しいタスクごとにカスタムモデルを作成することはリソース集約的な作業であり、かなりの計算時間とメモリリソースを必要とする。
本研究では,科学計算の基礎モデルとしてNeural Combinatorial Wavelet Neural Operator (NCWNO) の概念を紹介する。
このモデルは、様々な物理学のスペクトルから学習し、パラメトリック偏微分方程式(pdes)に関連する解作用素に継続的に適応するように設計されている。
NCWNOは、ローカルウェーブレットの専門家を利用したゲート構造を利用して、ローカルウェーブレットの専門家の間でメモリベースのアンサンブルアプローチによって補完される複数の物理システム間で共有機能を取得する。
この組み合わせにより、新しい課題への迅速な適応が可能になる。
提案する基礎モデルには2つの利点がある。
i) 複数のパラメトリックPDEに対する解演算子を同時に学習し、
(II)最小微調整で新しいパラメトリックPDEに素早く一般化できる。
提案されたncwnoは、その特徴から区別される最初の基礎演算子学習アルゴリズムである
(i)破滅的な忘れ方に対する堅牢性。
(ii)新しいパラメトリックpdesに対する正の伝達の維持、及び
(iii)異なるタスク間での知識伝達の促進。
NCWNOが予測段階で最小限のハイパーパラメータチューニングでタスク固有のベースライン演算子学習フレームワークより優れていることを示す。
また、最小限の微調整で、NCWNOは新しいパラメトリックPDEの正確な組合せ学習を行うことを示す。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Parametric Learning of Time-Advancement Operators for Unstable Flame
Evolution [0.0]
本研究では、パラメトリック偏微分方程式(PDE)に対する時間適応演算子学習への機械学習の適用について検討する。
我々の焦点は、PDEパラメータを表す追加入力を処理するために既存の演算子学習方法を拡張することである。
目標は、短期的なソリューションを正確に予測し、堅牢な長期統計を提供する統一的な学習アプローチを作ることだ。
論文 参考訳(メタデータ) (2024-02-14T18:12:42Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Neural Operators for Accelerating Scientific Simulations and Design [85.89660065887956]
Neural Operatorsとして知られるAIフレームワークは、継続的ドメインで定義された関数間のマッピングを学習するための原則的なフレームワークを提供する。
ニューラルオペレータは、計算流体力学、天気予報、物質モデリングなど、多くのアプリケーションで既存のシミュレータを拡張または置き換えることができる。
論文 参考訳(メタデータ) (2023-09-27T00:12:07Z) - Learning Neural Constitutive Laws From Motion Observations for
Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。
PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。
そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文 参考訳(メタデータ) (2023-04-27T17:42:24Z) - Physics informed WNO [0.0]
パラメトリック偏微分方程式(PDE)系の解演算子をラベル付きトレーニングデータなしで学習するための物理インフォームドウェーブレット演算子(WNO)を提案する。
このフレームワークの有効性は、工学と科学の様々な分野に関連する4つの非線形ニューラルネットワークで検証され、実証されている。
論文 参考訳(メタデータ) (2023-02-12T14:31:50Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-02-11T21:07:30Z) - Convolutional Neural Operators for robust and accurate learning of PDEs [11.562748612983956]
本稿では、入力や出力として関数を処理する畳み込みニューラルネットワークの新しい適応法を提案する。
結果として生じるアーキテクチャは、畳み込みニューラル演算子(CNO)と呼ばれる。
普遍性定理を証明し、CNOが PDE で生じる作用素を所望の精度で近似できることを示す。
論文 参考訳(メタデータ) (2023-02-02T15:54:45Z) - Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。
時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。
我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
論文 参考訳(メタデータ) (2023-02-02T03:47:52Z) - Solving Coupled Differential Equation Groups Using PINO-CDE [42.363646159367946]
PINO-CDEは結合微分方程式群(CDE)を解くためのディープラーニングフレームワークである
物理インフォームド・ニューラル演算子(PINO)の理論に基づいて、PINO-CDEはCDEの全ての量に対して単一のネットワークを使用する。
このフレームワークは、エンジニアリングダイナミクスとディープラーニング技術を統合し、CDEの解決と不確実性伝播のための新しい概念を明らかにする可能性がある。
論文 参考訳(メタデータ) (2022-10-01T08:39:24Z) - Characterizing possible failure modes in physics-informed neural
networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文 参考訳(メタデータ) (2021-09-02T16:06:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。