論文の概要: Solving multiscale elliptic problems by sparse radial basis function
neural networks
- arxiv url: http://arxiv.org/abs/2309.03107v1
- Date: Fri, 1 Sep 2023 15:11:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-10 03:35:40.825724
- Title: Solving multiscale elliptic problems by sparse radial basis function
neural networks
- Title(参考訳): スパースラジアル基底関数ニューラルネットワークによるマルチスケール楕円問題の解法
- Authors: Zhiwen Wang, Minxin Chen, Jingrun Chen
- Abstract要約: 楕円偏微分方程式 (PDE) を多スケール係数で解くために, スパースラジアル基底関数ニューラルネットワーク法を提案する。
深層混合残差法に着想を得て,2次問題を1次システムに書き換え,複数の放射基底関数ニューラルネットワーク(RBFNN)を用いて未知の関数を近似する。
提案手法の精度と有効性は,1次元から3次元までのスケール分離,不連続性,複数スケールのマルチスケール問題の集合を通して実証される。
- 参考スコア(独自算出の注目度): 3.5297361401370044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning has been successfully applied to various fields of
scientific computing in recent years. In this work, we propose a sparse radial
basis function neural network method to solve elliptic partial differential
equations (PDEs) with multiscale coefficients. Inspired by the deep mixed
residual method, we rewrite the second-order problem into a first-order system
and employ multiple radial basis function neural networks (RBFNNs) to
approximate unknown functions in the system. To aviod the overfitting due to
the simplicity of RBFNN, an additional regularization is introduced in the loss
function. Thus the loss function contains two parts: the $L_2$ loss for the
residual of the first-order system and boundary conditions, and the $\ell_1$
regularization term for the weights of radial basis functions (RBFs). An
algorithm for optimizing the specific loss function is introduced to accelerate
the training process. The accuracy and effectiveness of the proposed method are
demonstrated through a collection of multiscale problems with scale separation,
discontinuity and multiple scales from one to three dimensions. Notably, the
$\ell_1$ regularization can achieve the goal of representing the solution by
fewer RBFs. As a consequence, the total number of RBFs scales like
$\mathcal{O}(\varepsilon^{-n\tau})$, where $\varepsilon$ is the smallest scale,
$n$ is the dimensionality, and $\tau$ is typically smaller than $1$. It is
worth mentioning that the proposed method not only has the numerical
convergence and thus provides a reliable numerical solution in three dimensions
when a classical method is typically not affordable, but also outperforms most
other available machine learning methods in terms of accuracy and robustness.
- Abstract(参考訳): 近年、機械学習は科学計算の様々な分野に適用されている。
本研究では,多スケール係数を持つ楕円偏微分方程式(PDE)を解くために,スパースラジアル基底関数ニューラルネットワーク法を提案する。
深層混合残差法に着想を得て,2次問題を1次システムに書き換え,複数の放射基底関数ニューラルネットワーク(RBFNN)を用いて未知の関数を近似する。
RBFNNの単純さによる過度な適合を回避するため、損失関数に新たな正規化を導入する。
したがって、損失関数は、一階系と境界条件の残余に対する$L_2$損失と、放射基底関数の重みに対する$\ell_1$正規化項(RBF)の2つの部分を含む。
特定の損失関数を最適化するアルゴリズムを導入し、トレーニングプロセスを高速化する。
提案手法の精度と有効性は,1次元から3次元までのスケール分離,不連続性,複数スケールのマルチスケール問題の集合を通して実証される。
特に、$\ell_1$正規化はRBFを減らすことでソリューションを表現するという目標を達成することができる。
その結果、RBFの総数は$\mathcal{O}(\varepsilon^{-n\tau})$のようにスケールし、$\varepsilon$は最小のスケール、$n$は次元であり、$\tau$は通常$$よりも小さい。
提案手法は,古典的手法が一般的に手頃な価格ではない3次元の数値解を提供するだけでなく,精度と堅牢性の観点から,他の機械学習手法よりも優れていることに留意する必要がある。
関連論文リスト
- Neural Inference of Gaussian Processes for Time Series Data of Quasars [72.79083473275742]
クエーサースペクトルを完全に記述できる新しいモデルを提案する。
また、$textitNeural Inference$というガウス的プロセスパラメータの推論の新しいメソッドも導入しています。
CDRWモデルとNeural Inferenceの組み合わせはベースラインのDRWとMLEを大きく上回っている。
論文 参考訳(メタデータ) (2022-11-17T13:01:26Z) - spred: Solving $L_1$ Penalty with SGD [6.2255027793924285]
単純な再パラメータ化を用いて、$L_$で微分可能な目的を最小化することを提案する。
我々は、再パラメータ化のトリックが「完全に良性である」ことを証明する。
論文 参考訳(メタデータ) (2022-10-03T20:07:51Z) - Gradient-Free Methods for Deterministic and Stochastic Nonsmooth
Nonconvex Optimization [94.19177623349947]
非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。
2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。
GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
論文 参考訳(メタデータ) (2022-09-12T06:53:24Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳(メタデータ) (2022-02-23T02:39:04Z) - A Neural Network Ensemble Approach to System Identification [0.6445605125467573]
軌道データから未知の制御方程式を学習するための新しいアルゴリズムを提案する。
ニューラルネットワークのアンサンブルを用いて関数の$f$を近似する。
論文 参考訳(メタデータ) (2021-10-15T21:45:48Z) - A Discontinuity Capturing Shallow Neural Network for Elliptic Interface
Problems [0.0]
連続関数を$d$次元で近似し,楕円型インタフェース問題を解くための不連続キャプチャ・シャローニューラルネットワーク(DCSNN)を開発した。
DCSNNモデルは、トレーニングが必要なパラメータの適度な数だけのために、比較的に効率的である。
論文 参考訳(メタデータ) (2021-06-10T08:40:30Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳(メタデータ) (2021-06-04T17:52:50Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳(メタデータ) (2020-10-22T00:32:12Z) - Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。
バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。
従来のPDEソルバに比べて最大3桁高速である。
論文 参考訳(メタデータ) (2020-10-18T00:34:21Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳(メタデータ) (2020-02-10T23:23:04Z) - A Corrective View of Neural Networks: Representation, Memorization and
Learning [26.87238691716307]
我々はニューラルネットワーク近似の補正機構を開発する。
ランダム・フィーチャー・レギュレーション(RF)における2層ニューラルネットワークは任意のラベルを記憶できることを示す。
また、3層ニューラルネットワークについても検討し、その補正機構がスムーズなラジアル関数に対する高速な表現率をもたらすことを示す。
論文 参考訳(メタデータ) (2020-02-01T20:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。