論文の概要: Invariant deep neural networks under the finite group for solving partial differential equations
- arxiv url: http://arxiv.org/abs/2407.20560v1
- Date: Tue, 30 Jul 2024 05:28:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 18:19:06.886942
- Title: Invariant deep neural networks under the finite group for solving partial differential equations
- Title(参考訳): 偏微分方程式を解く有限群下の不変ディープニューラルネットワーク
- Authors: Zhi-Yong Zhang, Jie-Ying Li, Lei-Lei Guo,
- Abstract要約: 我々は、有限群の下でニューラルネットワークのアーキテクチャを不変にする対称性強化ディープニューラルネットワーク(sDNN)を設計する。
数値計算の結果,sDNNはサンプリング領域内外において強い予測能力を有することがわかった。
- 参考スコア(独自算出の注目度): 1.4916944282865694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Utilizing physics-informed neural networks (PINN) to solve partial differential equations (PDEs) becomes a hot issue and also shows its great powers, but still suffers from the dilemmas of limited predicted accuracy in the sampling domain and poor prediction ability beyond the sampling domain which are usually mitigated by adding the physical properties of PDEs into the loss function or by employing smart techniques to change the form of loss function for special PDEs. In this paper, we design a symmetry-enhanced deep neural network (sDNN) which makes the architecture of neural networks invariant under the finite group through expanding the dimensions of weight matrixes and bias vectors in each hidden layers by the order of finite group if the group has matrix representations, otherwise extending the set of input data and the hidden layers except for the first hidden layer by the order of finite group. However, the total number of training parameters is only about one over the order of finite group of the original PINN size due to the symmetric architecture of sDNN. Furthermore, we give special forms of weight matrixes and bias vectors of sDNN, and rigorously prove that the architecture itself is invariant under the finite group and the sDNN has the universal approximation ability to learn the function keeping the finite group. Numerical results show that the sDNN has strong predicted abilities in and beyond the sampling domain and performs far better than the vanilla PINN with fewer training points and simpler architecture.
- Abstract(参考訳): 物理インフォームドニューラルネットワーク(PINN)を用いて偏微分方程式(PDE)を解くことはホットな問題であり、その強みを示すが、サンプリング領域における限られた予測精度とサンプリング領域を超えた予測能力のジレンマに苦しむ。
本稿では,群が行列表現を持つ場合,各隠蔽層における重み行列とバイアスベクトルの次元を有限群の順序で拡張し,それ以外は第1の隠蔽層以外の入力データと隠蔽層を有限群の順序で拡張することにより,ニューラルネットワークのアーキテクチャを有限群の下で不変にする対称性強化ディープニューラルネットワーク(sDNN)を設計する。
しかし、トレーニングパラメータの総数は、sDNNの対称構造のため、元のPINNサイズの有限群のオーダーの約1である。
さらに、sDNNの特殊形式の重み行列とバイアスベクトルを与え、アーキテクチャ自体が有限群の下で不変であり、sDNNは有限群を保持する関数を学習する普遍近似能力を有することを厳密に証明する。
数値的な結果から,SDNNはサンプリング領域内外において高い予測能力を有し,トレーニングポイントが少なく,よりシンプルなアーキテクチャで,バニラPINNよりもはるかに優れた性能を示した。
関連論文リスト
- RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。
本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。
実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
論文 参考訳(メタデータ) (2024-05-23T09:45:57Z) - Symmetry group based domain decomposition to enhance physics-informed neural networks for solving partial differential equations [3.3360424430642848]
我々は、リー対称性群を有するPDEの前方および逆問題を解くために、PINNを強化するための対称性群に基づく領域分解戦略を提案する。
前方問題に対して、まず対称群を配置し、フレキシブルに調整可能な既知の解情報を有する分割線を生成する。
次に,PINN法と対称性向上型PINN法を用いて,各サブドメインの解を学習し,最終的にPDEの全体解に縫合する。
論文 参考訳(メタデータ) (2024-04-29T09:27:17Z) - Deeper or Wider: A Perspective from Optimal Generalization Error with Sobolev Loss [2.07180164747172]
より深いニューラルネットワーク(DeNN)と、柔軟な数のレイヤと、限られた隠れたレイヤを持つより広いニューラルネットワーク(WeNN)を比較します。
より多くのパラメータがWeNNを好む傾向にあるのに対し、サンプルポイントの増加と損失関数の規則性の向上は、DeNNの採用に傾いている。
論文 参考訳(メタデータ) (2024-01-31T20:10:10Z) - PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks [22.39904196850583]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の数値解を近似するための有望なディープラーニングフレームワークとして登場した。
我々は,この制限に対処するために,新しいTransformerベースのフレームワークであるPINNsFormerを紹介した。
PINNsFormerは、PINNの障害モードや高次元PDEなど、様々なシナリオにおいて優れた一般化能力と精度を実現する。
論文 参考訳(メタデータ) (2023-07-21T18:06:27Z) - RBF-MGN:Solving spatiotemporal PDEs with Physics-informed Graph Neural
Network [4.425915683879297]
グラフニューラルネットワーク(GNN)とラジアル基底関数有限差分(RBF-FD)に基づく新しいフレームワークを提案する。
RBF-FDはモデルトレーニングを導くために微分方程式の高精度差分形式を構築するために用いられる。
提案アルゴリズムの一般化可能性,精度,効率性を,異なるPDEパラメータで説明する。
論文 参考訳(メタデータ) (2022-12-06T10:08:02Z) - Convergence analysis of unsupervised Legendre-Galerkin neural networks
for linear second-order elliptic PDEs [0.8594140167290099]
教師なしレジェンダ-ガレルキンニューラルネットワーク(ULGNet)の収束解析を行う。
ULGNetは偏微分方程式(PDE)を解くためのディープラーニングに基づく数値法である
論文 参考訳(メタデータ) (2022-11-16T13:31:03Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳(メタデータ) (2022-04-15T10:45:26Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。