論文の概要: Nonlocality and Nonlinearity Implies Universality in Operator Learning
- arxiv url: http://arxiv.org/abs/2304.13221v2
- Date: Sat, 15 Jun 2024 00:00:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 13:10:19.085039
- Title: Nonlocality and Nonlinearity Implies Universality in Operator Learning
- Title（参考訳）: 演算子学習における非局所性と非線形性の影響
- Authors: Samuel Lanthaler, Zongyi Li, Andrew M. Stuart,
- Abstract要約: ニューラル作用素アーキテクチャは、無限次元バナッハ空間の間の作用素を近似する。
函数空間間の作用素の一般近似が非局所的かつ非線形であることは明らかである。
これら2つの属性をどのように組み合わせて、普遍近似を導出するかを示す。
- 参考スコア（独自算出の注目度）: 8.83910715280152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural operator architectures approximate operators between infinite-dimensional Banach spaces of functions. They are gaining increased attention in computational science and engineering, due to their potential both to accelerate traditional numerical methods and to enable data-driven discovery. As the field is in its infancy basic questions about minimal requirements for universal approximation remain open. It is clear that any general approximation of operators between spaces of functions must be both nonlocal and nonlinear. In this paper we describe how these two attributes may be combined in a simple way to deduce universal approximation. In so doing we unify the analysis of a wide range of neural operator architectures and open up consideration of new ones. A popular variant of neural operators is the Fourier neural operator (FNO). Previous analysis proving universal operator approximation theorems for FNOs resorts to use of an unbounded number of Fourier modes, relying on intuition from traditional analysis of spectral methods. The present work challenges this point of view: (i) the work reduces FNO to its core essence, resulting in a minimal architecture termed the ``averaging neural operator'' (ANO); and (ii) analysis of the ANO shows that even this minimal ANO architecture benefits from universal approximation. This result is obtained based on only a spatial average as its only nonlocal ingredient (corresponding to retaining only a \emph{single} Fourier mode in the special case of the FNO). The analysis paves the way for a more systematic exploration of nonlocality, both through the development of new operator learning architectures and the analysis of existing and new architectures. Numerical results are presented which give insight into complexity issues related to the roles of channel width (embedding dimension) and number of Fourier modes.
- Abstract（参考訳）: ニューラル作用素アーキテクチャは、無限次元バナッハ空間の間の作用素を近似する。
従来の数値法を加速し、データドリブンな発見を可能にする可能性から、計算科学と工学の分野に注目が集まっている。
場の初期段階にあるので、普遍近似に対する最小限の要件に関する基本的な問題は、まだ未解決のままである。
函数空間間の作用素の一般近似が非局所的かつ非線形であることは明らかである。
本稿では,これらの2つの属性を,普遍近似を推定する簡単な方法で組み合わせる方法について述べる。
このようにして、幅広い神経オペレーターアーキテクチャの分析を統一し、新しいアーキテクチャを考察する。
ニューラル演算子の一般的な変種はフーリエニューラル演算子(FNO)である。
FNOsの普遍作用素近似定理を証明する以前の分析は、スペクトル法の伝統的な分析からの直観に頼って、無制限のフーリエモードを使用する。
現在の作業は、この観点からの課題である。
(i)この研究はFNOをその中核に還元し、「ANO」と呼ばれる最小限のアーキテクチャをもたらす。
(II) ANOの分析は、この最小限のANOアーキテクチャでさえ普遍近似の恩恵を受けていることを示している。
この結果は、その非局所成分として空間平均のみに基づいて得られる(FNOの特別の場合では、emph{single} Fourier モードのみに対応する)。
この分析は、新しい演算子学習アーキテクチャの開発と、既存のおよび新しいアーキテクチャの分析の両方を通じて、より体系的な非局所性探索の道を開く。
チャネル幅(埋め込み次元)とフーリエモードの数に関連する複雑性問題について,数値的な結果が提示される。
関連論文リスト
- DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。
DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。
経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
論文 参考訳（メタデータ） (2024-10-08T10:48:50Z) - Linearization Turns Neural Operators into Function-Valued Gaussian Processes [23.85470417458593]
ニューラル作用素におけるベイズの不確かさを近似する新しい枠組みを導入する。
我々の手法は関数型プログラミングからカリー化の概念の確率論的類似体と解釈できる。
我々は、異なるタイプの偏微分方程式への応用を通して、我々のアプローチの有効性を示す。
論文 参考訳（メタデータ） (2024-06-07T16:43:54Z) - Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。
我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。
局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
論文 参考訳（メタデータ） (2024-02-26T18:59:31Z) - Operator Learning: Algorithms and Analysis [8.305111048568737]
オペレータ学習(Operator learning)は、機械学習から、関数のバナッハ空間間の近似演算子へのアイデアの適用を指す。
このレビューは、有限次元ユークリッド空間上で定義される関数の近似におけるディープニューラルネットワークの成功に基づいて構築されたニューラル演算子に焦点を当てる。
論文 参考訳（メタデータ） (2024-02-24T04:40:27Z) - The Parametric Complexity of Operator Learning [6.800286371280922]
「本論は、Cr$-またはLipschitz-regularityのみによって特徴づけられる作用素の一般クラスに対して、演算子学習がパラメトリック複雑性の呪いに苦しむことを証明することを目的としている。」
この論文の第二の貢献は、ハミルトン・ヤコビ方程式で定義される解作用素に対して、この一般的な呪いが克服可能であることを証明することである。
HJ-Netと呼ばれる新しいニューラル演算子アーキテクチャが導入され、基礎となるハミルトン系の特性情報を明示的に考慮している。
論文 参考訳（メタデータ） (2023-06-28T05:02:03Z) - Resolution-Invariant Image Classification based on Fourier Neural
Operators [1.3190581566723918]
画像分類における一般化ニューラルネットワーク (FNO) の利用について, 標準畳み込みニューラルネットワーク (CNN) と比較して検討した。
我々は、ルベーグ空間上の連続およびFr'echet微分可能なニューラル作用素の例としてFNOアーキテクチャを導出する。
論文 参考訳（メタデータ） (2023-04-02T10:23:36Z) - Factorized Fourier Neural Operators [77.47313102926017]
Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。
我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
論文 参考訳（メタデータ） (2021-11-27T03:34:13Z) - Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳（メタデータ） (2021-08-19T03:56:49Z) - Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。
バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。
従来のPDEソルバに比べて最大3桁高速である。
論文 参考訳（メタデータ） (2020-10-18T00:34:21Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。