論文の概要: MgNO: Efficient Parameterization of Linear Operators via Multigrid
- arxiv url: http://arxiv.org/abs/2310.19809v2
- Date: Tue, 25 Jun 2024 14:39:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 21:00:07.834033
- Title: MgNO: Efficient Parameterization of Linear Operators via Multigrid
- Title（参考訳）: MgNO:マルチグリッドによる線形演算子の効率的なパラメータ化
- Authors: Juncai He, Xinliang Liu, Jinchao Xu,
- Abstract要約: 我々はMgNOを導入し、ニューロン間の有界線形作用素をパラメータ化するために多重格子構造を利用する。
MgNOは、他のCNNベースのモデルと比べてトレーニングの容易さが優れている。
- 参考スコア（独自算出の注目度）: 4.096453902709292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we propose a concise neural operator architecture for operator learning. Drawing an analogy with a conventional fully connected neural network, we define the neural operator as follows: the output of the $i$-th neuron in a nonlinear operator layer is defined by $\mathcal O_i(u) = \sigma\left( \sum_j \mathcal W_{ij} u + \mathcal B_{ij}\right)$. Here, $\mathcal W_{ij}$ denotes the bounded linear operator connecting $j$-th input neuron to $i$-th output neuron, and the bias $\mathcal B_{ij}$ takes the form of a function rather than a scalar. Given its new universal approximation property, the efficient parameterization of the bounded linear operators between two neurons (Banach spaces) plays a critical role. As a result, we introduce MgNO, utilizing multigrid structures to parameterize these linear operators between neurons. This approach offers both mathematical rigor and practical expressivity. Additionally, MgNO obviates the need for conventional lifting and projecting operators typically required in previous neural operators. Moreover, it seamlessly accommodates diverse boundary conditions. Our empirical observations reveal that MgNO exhibits superior ease of training compared to other CNN-based models, while also displaying a reduced susceptibility to overfitting when contrasted with spectral-type neural operators. We demonstrate the efficiency and accuracy of our method with consistently state-of-the-art performance on different types of partial differential equations (PDEs).
- Abstract（参考訳）: 本研究では,演算子学習のための簡潔なニューラル演算子アーキテクチャを提案する。
非線形作用素層における$i$-thニューロンの出力は、$\mathcal O_i(u) = \sigma\left( \sum_j \mathcal W_{ij} u + \mathcal B_{ij}\right)$で定義される。
ここで、$\mathcal W_{ij}$は、$j$-th入力ニューロンを$i$-th出力ニューロンに接続する有界線型作用素を表し、バイアス$\mathcal B_{ij}$はスカラーではなく関数の形を取る。
新しい普遍近似特性から、2つのニューロン(バナッハ空間)間の有界線型作用素の効率的なパラメータ化が重要な役割を果たす。
その結果,ニューロン間の線形作用素のパラメータ化に乗じて,MgNOを導入している。
このアプローチは数学的厳密さと実践的表現性の両方を提供する。
さらに、MgNOは従来のリフティングおよび投射演算子が従来のニューラル演算子で必要とされることを妨げる。
さらに、多様な境界条件をシームレスに適合させる。
実験の結果,MgNOは他のCNNモデルに比べてトレーニングの容易さが優れており,スペクトル型ニューラル演算子と比較して過度に適応する可能性が低いことがわかった。
偏微分方程式 (PDE) の多種差分式 (PDE) 上で, 定常に最先端性能を保ちながら, 提案手法の効率と精度を実証する。
関連論文リスト
- Composite Bayesian Optimization In Function Spaces Using NEON -- Neural Epistemic Operator Networks [4.1764890353794994]
NEONは、単一のオペレータネットワークバックボーンを使用して不確実性のある予測を生成するアーキテクチャである。
NEONは、トレーニング可能なパラメータを桁違いに減らしながら、最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2024-04-03T22:42:37Z) - Resolution-Invariant Image Classification based on Fourier Neural
Operators [1.3190581566723918]
画像分類における一般化ニューラルネットワーク (FNO) の利用について, 標準畳み込みニューラルネットワーク (CNN) と比較して検討した。
我々は、ルベーグ空間上の連続およびFr'echet微分可能なニューラル作用素の例としてFNOアーキテクチャを導出する。
論文 参考訳（メタデータ） (2023-04-02T10:23:36Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - Pseudo-Differential Neural Operator: Generalized Fourier Neural Operator
for Learning Solution Operators of Partial Differential Equations [14.43135909469058]
本研究では,FNOにおけるフーリエ積分作用素を解析・一般化するための新しいテキスト型微分積分演算子(PDIO)を提案する。
提案モデルの有効性をDarcyフローとNavier-Stokes方程式を用いて実験的に検証した。
論文 参考訳（メタデータ） (2022-01-28T07:22:32Z) - Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳（メタデータ） (2021-08-19T03:56:49Z) - Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。
バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。
従来のPDEソルバに比べて最大3桁高速である。
論文 参考訳（メタデータ） (2020-10-18T00:34:21Z) - The Interpolation Phase Transition in Neural Networks: Memorization and
Generalization under Lazy Training [10.72393527290646]
ニューラル・タンジェント(NT)体制における2層ニューラルネットワークの文脈における現象について検討した。
Ndgg n$ とすると、テストエラーは無限幅のカーネルに対するカーネルリッジ回帰の1つによってよく近似される。
後者は誤差リッジ回帰によりよく近似され、活性化関数の高次成分に関連する自己誘導項により正規化パラメータが増加する。
論文 参考訳（メタデータ） (2020-07-25T01:51:13Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。
我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文 参考訳（メタデータ） (2020-04-24T14:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。