論文の概要: Neural Operators with Localized Integral and Differential Kernels

• arxiv url: http://arxiv.org/abs/2402.16845v2
• Date: Sat, 8 Jun 2024 22:16:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 01:13:35.291597
• Title: Neural Operators with Localized Integral and Differential Kernels
• Title（参考訳）: 局所的な積分カーネルと微分カーネルを持つニューラル演算子
• Authors: Miguel Liu-Schiaffini, Julius Berner, Boris Bonev, Thorsten Kurth, Kamyar Azizzadenesheli, Anima Anandkumar,
• Abstract要約: 本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
• 参考スコア（独自算出の注目度）: 77.76991758980003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural operators learn mappings between function spaces, which is practical for learning solution operators of PDEs and other scientific modeling applications. Among them, the Fourier neural operator (FNO) is a popular architecture that performs global convolutions in the Fourier space. However, such global operations are often prone to over-smoothing and may fail to capture local details. In contrast, convolutional neural networks (CNN) can capture local features but are limited to training and inference at a single resolution. In this work, we present a principled approach to operator learning that can capture local features under two frameworks by learning differential operators and integral operators with locally supported kernels. Specifically, inspired by stencil methods, we prove that we obtain differential operators under an appropriate scaling of the kernel values of CNNs. To obtain local integral operators, we utilize suitable basis representations for the kernels based on discrete-continuous convolutions. Both these approaches preserve the properties of operator learning and, hence, the ability to predict at any resolution. Adding our layers to FNOs significantly improves their performance, reducing the relative L2-error by 34-72% in our experiments, which include a turbulent 2D Navier-Stokes and the spherical shallow water equations.
• Abstract（参考訳）: ニューラル作用素は関数空間間の写像を学習し、これはPDEの解演算子と他の科学的モデリング応用の学習に有効である。 その中でも、フーリエニューラル演算子(FNO)は、フーリエ空間におけるグローバルな畳み込みを実行する一般的なアーキテクチャである。 しかし、このようなグローバルな操作は、しばしば過密になりがちで、局所的な詳細を捉えられない場合がある。 対照的に、畳み込みニューラルネットワーク(CNN)は局所的な特徴を捉えることができるが、単一の解像度でのトレーニングと推論に限られる。 本研究では,局所的にサポートされたカーネルを持つ微分演算子と積分演算子を学習することにより,局所的特徴を2つのフレームワークで捉えることができる演算子学習の原理的アプローチを提案する。 具体的には、ステンシル法に着想を得て、CNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。 これらのアプローチはどちらも演算子学習の特性を保ち、従って任意の解像度で予測できる。 FNOに層を追加することで、相対的なL2エラーが34～72%減少し、乱流2Dナビエ-ストークスや球状浅水方程式など、その性能が大幅に向上する。

関連論文リスト

• Beyond Regular Grids: Fourier-Based Neural Operators on Arbitrary Domains [13.56018270837999]
  本稿では,ニューラルネットワークを任意の領域に拡張する簡単な手法を提案する。 このような直接スペクトル評価の効率的な実装*は、既存のニューラル演算子モデルと結合する。 提案手法により,ニューラルネットワークを任意の点分布に拡張し,ベースライン上でのトレーニング速度を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-05-31T09:01:20Z)
• Nonlocality and Nonlinearity Implies Universality in Operator Learning [8.83910715280152]
  ニューラル作用素アーキテクチャは、無限次元バナッハ空間の間の作用素を近似する。 函数空間間の作用素の一般近似が非局所的かつ非線形であることは明らかである。 これら2つの属性をどのように組み合わせて、普遍近似を導出するかを示す。
  論文  参考訳（メタデータ） (2023-04-26T01:03:11Z)
• Convolutional Neural Operators for robust and accurate learning of PDEs [11.562748612983956]
  本稿では、入力や出力として関数を処理する畳み込みニューラルネットワークの新しい適応法を提案する。 結果として生じるアーキテクチャは、畳み込みニューラル演算子(CNO)と呼ばれる。 普遍性定理を証明し、CNOが PDE で生じる作用素を所望の精度で近似できることを示す。
  論文  参考訳（メタデータ） (2023-02-02T15:54:45Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。 バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。 従来のPDEソルバに比べて最大3桁高速である。
  論文  参考訳（メタデータ） (2020-10-18T00:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。