論文の概要: MgNO: Efficient Parameterization of Linear Operators via Multigrid
- arxiv url: http://arxiv.org/abs/2310.19809v1
- Date: Mon, 16 Oct 2023 13:01:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-05 13:25:51.534435
- Title: MgNO: Efficient Parameterization of Linear Operators via Multigrid
- Title(参考訳): MgNO:マルチグリッドによる線形演算子の効率的なパラメータ化
- Authors: Juncai He, Xinliang Liu and Jinchao Xu
- Abstract要約: 我々はMgNOを導入し、ニューロン間の有界線形作用素をパラメータ化するために多重格子構造を利用する。
MgNOは、他のCNNベースのモデルと比べてトレーニングの容易さが優れている。
- 参考スコア(独自算出の注目度): 4.604003661048267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we propose a concise neural operator architecture for operator
learning. Drawing an analogy with a conventional fully connected neural
network, we define the neural operator as follows: the output of the $i$-th
neuron in a nonlinear operator layer is defined by $\mathcal O_i(u) =
\sigma\left( \sum_j \mathcal W_{ij} u + \mathcal B_{ij}\right)$. Here,
$\mathcal W_{ij}$ denotes the bounded linear operator connecting $j$-th input
neuron to $i$-th output neuron, and the bias $\mathcal B_{ij}$ takes the form
of a function rather than a scalar. Given its new universal approximation
property, the efficient parameterization of the bounded linear operators
between two neurons (Banach spaces) plays a critical role. As a result, we
introduce MgNO, utilizing multigrid structures to parameterize these linear
operators between neurons. This approach offers both mathematical rigor and
practical expressivity. Additionally, MgNO obviates the need for conventional
lifting and projecting operators typically required in previous neural
operators. Moreover, it seamlessly accommodates diverse boundary conditions.
Our empirical observations reveal that MgNO exhibits superior ease of training
compared to other CNN-based models, while also displaying a reduced
susceptibility to overfitting when contrasted with spectral-type neural
operators. We demonstrate the efficiency and accuracy of our method with
consistently state-of-the-art performance on different types of partial
differential equations (PDEs).
- Abstract(参考訳): 本研究では,演算子学習のための簡潔なニューラル演算子アーキテクチャを提案する。
非線形作用素層における$i$-thニューロンの出力は、$\mathcal O_i(u) = \sigma\left( \sum_j \mathcal W_{ij} u + \mathcal B_{ij}\right)$で定義される。
ここで、$\mathcal w_{ij}$ は、$j$-th 入力ニューロンと$i$-th 出力ニューロンを接続する有界線型作用素を表し、バイアス $\mathcal b_{ij}$ はスカラーではなく関数の形を取る。
新しい普遍近似特性から、2つのニューロン(バナッハ空間)間の有界線型作用素の効率的なパラメータ化が重要な役割を果たす。
その結果, ニューロン間の線形演算子をパラメータ化するために, マルチグリッド構造を利用したmgnoを導入する。
このアプローチは数学的厳密さと実践的表現性の両方を提供する。
さらに、MgNOは従来のリフティングおよび投射演算子が従来のニューラル演算子で必要とされることを妨げる。
さらに、多様な境界条件をシームレスに満たす。
実験結果から,mgnoは他のcnnモデルに比べてトレーニングが容易であると同時に,スペクトル型ニューラルオペレータと対比した場合の過剰フィッティングに対する感受性も低下していることが明らかとなった。
偏微分方程式 (PDE) の多種差分式 (PDE) 上で, 定常に最先端性能を示す手法の有効性と精度を示す。
関連論文リスト
- Resolution-Invariant Image Classification based on Fourier Neural
Operators [1.3190581566723918]
画像分類における一般化ニューラルネットワーク (FNO) の利用について, 標準畳み込みニューラルネットワーク (CNN) と比較して検討した。
我々は、ルベーグ空間上の連続およびFr'echet微分可能なニューラル作用素の例としてFNOアーキテクチャを導出する。
論文 参考訳(メタデータ) (2023-04-02T10:23:36Z) - MIONet: Learning multiple-input operators via tensor product [2.5426761219054312]
バナッハ空間の積上で定義された複数入力演算子に対するニューラルネットワークによる演算子の回帰について検討する。
我々の理論と低ランク近似に基づいて、我々は新しいニューラル演算子、MIONetを提案し、複数入力演算子を学習する。
論文 参考訳(メタデータ) (2022-02-12T20:37:04Z) - Pseudo-Differential Neural Operator: Generalized Fourier Neural Operator
for Learning Solution Operators of Partial Differential Equations [14.43135909469058]
本研究では,FNOにおけるフーリエ積分作用素を解析・一般化するための新しいテキスト型微分積分演算子(PDIO)を提案する。
提案モデルの有効性をDarcyフローとNavier-Stokes方程式を用いて実験的に検証した。
論文 参考訳(メタデータ) (2022-01-28T07:22:32Z) - Learning Contextual Bandits Through Perturbed Rewards [107.6210145983805]
標準正規性条件下では、$tildeO(tildedsqrtT)$ regret上界が達成可能であることを示す。
明示的な探索の必要性を排除するために、ニューラルネットワークを更新する際の報酬を混乱させます。
論文 参考訳(メタデータ) (2022-01-24T19:10:22Z) - Neural Operator: Learning Maps Between Function Spaces [57.90284928158383]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳(メタデータ) (2021-08-19T03:56:49Z) - Linear Dilation-Erosion Perceptron Trained Using a Convex-Concave
Procedure [1.3706331473063877]
本稿では, 線形変換を適用したテキストリニア・ディレーション・エロージョン・パーセプトロン(ell$-DEP)について述べる。
いくつかの分類問題を用いて,$ell$-DEPモデルと他の機械学習手法との比較を行った。
論文 参考訳(メタデータ) (2020-11-11T18:37:07Z) - Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。
バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。
従来のPDEソルバに比べて最大3桁高速である。
論文 参考訳(メタデータ) (2020-10-18T00:34:21Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳(メタデータ) (2020-06-24T02:44:54Z) - Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。
我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文 参考訳(メタデータ) (2020-04-24T14:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。