論文の概要: A foundational neural operator that continuously learns without forgetting

• arxiv url: http://arxiv.org/abs/2310.18885v1
• Date: Sun, 29 Oct 2023 03:20:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:56:11.257665
• Title: A foundational neural operator that continuously learns without forgetting
• Title（参考訳）: 忘れずに連続的に学習する基礎的神経オペレータ
• Authors: Tapas Tripura and Souvik Chakraborty
• Abstract要約: 本稿では,科学計算の基礎モデルとしてNeural Combinatorial Wavelet Neural Operator (NCWNO) の概念を紹介する。 NCWNOは、物理学の様々なスペクトルから学習し、パラメトリック偏微分方程式(PDE)に関連する解作用素に継続的に適応するように特別に設計されている。 提案した基礎モデルには、2つの大きな利点がある: (i) 複数のパラメトリックPDEに対する解演算子を同時に学習し、 (ii) 極小調整の少ない新しいパラメトリックPDEに素早く一般化できる。
• 参考スコア（独自算出の注目度）: 1.0878040851638
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine learning has witnessed substantial growth, leading to the development of advanced artificial intelligence models crafted to address a wide range of real-world challenges spanning various domains, such as computer vision, natural language processing, and scientific computing. Nevertheless, the creation of custom models for each new task remains a resource-intensive undertaking, demanding considerable computational time and memory resources. In this study, we introduce the concept of the Neural Combinatorial Wavelet Neural Operator (NCWNO) as a foundational model for scientific computing. This model is specifically designed to excel in learning from a diverse spectrum of physics and continuously adapt to the solution operators associated with parametric partial differential equations (PDEs). The NCWNO leverages a gated structure that employs local wavelet experts to acquire shared features across multiple physical systems, complemented by a memory-based ensembling approach among these local wavelet experts. This combination enables rapid adaptation to new challenges. The proposed foundational model offers two key advantages: (i) it can simultaneously learn solution operators for multiple parametric PDEs, and (ii) it can swiftly generalize to new parametric PDEs with minimal fine-tuning. The proposed NCWNO is the first foundational operator learning algorithm distinguished by its (i) robustness against catastrophic forgetting, (ii) the maintenance of positive transfer for new parametric PDEs, and (iii) the facilitation of knowledge transfer across dissimilar tasks. Through an extensive set of benchmark examples, we demonstrate that the NCWNO can outperform task-specific baseline operator learning frameworks with minimal hyperparameter tuning at the prediction stage. We also show that with minimal fine-tuning, the NCWNO performs accurate combinatorial learning of new parametric PDEs.
• Abstract（参考訳）: 機械学習は大幅に成長し、コンピュータビジョン、自然言語処理、科学計算など、さまざまな領域にまたがる幅広い現実世界の課題に対処するために開発された高度な人工知能モデルの開発につながった。 それでも、新しいタスクごとにカスタムモデルを作成することはリソース集約的な作業であり、かなりの計算時間とメモリリソースを必要とする。 本研究では,科学計算の基礎モデルとしてNeural Combinatorial Wavelet Neural Operator (NCWNO) の概念を紹介する。 このモデルは、様々な物理学のスペクトルから学習し、パラメトリック偏微分方程式(pdes)に関連する解作用素に継続的に適応するように設計されている。 NCWNOは、ローカルウェーブレットの専門家を利用したゲート構造を利用して、ローカルウェーブレットの専門家の間でメモリベースのアンサンブルアプローチによって補完される複数の物理システム間で共有機能を取得する。 この組み合わせにより、新しい課題への迅速な適応が可能になる。 提案する基礎モデルには2つの利点がある。 i) 複数のパラメトリックPDEに対する解演算子を同時に学習し、 (II)最小微調整で新しいパラメトリックPDEに素早く一般化できる。 提案されたncwnoは、その特徴から区別される最初の基礎演算子学習アルゴリズムである (i)破滅的な忘れ方に対する堅牢性。 (ii)新しいパラメトリックpdesに対する正の伝達の維持、及び (iii)異なるタスク間での知識伝達の促進。 NCWNOが予測段階で最小限のハイパーパラメータチューニングでタスク固有のベースライン演算子学習フレームワークより優れていることを示す。 また、最小限の微調整で、NCWNOは新しいパラメトリックPDEの正確な組合せ学習を行うことを示す。

関連論文リスト

• DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning [6.635683993472882]
  マルチオペレータ学習を実現するためのファインチューニング手法を提案する。 本手法は,事前学習における各種演算子からのデータを分散学習と組み合わせ,物理インフォームド手法によりゼロショット微調整が可能となる。
  論文  参考訳（メタデータ） (2024-11-11T18:58:46Z)
• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• LeMON: Learning to Learn Multi-Operator Networks [0.6554326244334868]
  シングルオペレータ学習では、特定のオペレータを学ぶために、ディープニューラルネットワークをトレーニングする。 マルチオペレータ学習における最近の研究は、演算子埋め込み構造を使用して、複数の演算子のデータ上で単一のニューラルネットワークをトレーニングしている。 マルチオペレータ学習を用いてPDEを解くための事前学習および微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-28T23:20:03Z)
• Neural Parameter Regression for Explicit Representations of PDE Solution Operators [22.355460388065964]
  偏微分方程式(PDE)の解演算子を学習するための新しいフレームワークであるニューラル回帰(NPR)を導入する。 NPRは、ニューラルネットワーク(NN)パラメータを回帰するために、Physics-Informed Neural Network (PINN, Raissi et al., 2021) 技術を使用している。 このフレームワークは、新しい初期条件と境界条件に顕著な適応性を示し、高速な微調整と推論を可能にした。
  論文  参考訳（メタデータ） (2024-03-19T14:30:56Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Neural Operators for Accelerating Scientific Simulations and Design [85.89660065887956]
  Neural Operatorsとして知られるAIフレームワークは、継続的ドメインで定義された関数間のマッピングを学習するための原則的なフレームワークを提供する。 ニューラルオペレータは、計算流体力学、天気予報、物質モデリングなど、多くのアプリケーションで既存のシミュレータを拡張または置き換えることができる。
  論文  参考訳（メタデータ） (2023-09-27T00:12:07Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Convolutional Neural Operators for robust and accurate learning of PDEs [11.562748612983956]
  本稿では、入力や出力として関数を処理する畳み込みニューラルネットワークの新しい適応法を提案する。 結果として生じるアーキテクチャは、畳み込みニューラル演算子(CNO)と呼ばれる。 普遍性定理を証明し、CNOが PDE で生じる作用素を所望の精度で近似できることを示す。
  論文  参考訳（メタデータ） (2023-02-02T15:54:45Z)
• Solving Coupled Differential Equation Groups Using PINO-CDE [42.363646159367946]
  PINO-CDEは結合微分方程式群(CDE)を解くためのディープラーニングフレームワークである 物理インフォームド・ニューラル演算子(PINO)の理論に基づいて、PINO-CDEはCDEの全ての量に対して単一のネットワークを使用する。 このフレームワークは、エンジニアリングダイナミクスとディープラーニング技術を統合し、CDEの解決と不確実性伝播のための新しい概念を明らかにする可能性がある。
  論文  参考訳（メタデータ） (2022-10-01T08:39:24Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。