論文の概要: Numerical Computation of Partial Differential Equations by Hidden-Layer
Concatenated Extreme Learning Machine
- arxiv url: http://arxiv.org/abs/2204.11375v1
- Date: Sun, 24 Apr 2022 22:39:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-26 15:52:55.691840
- Title: Numerical Computation of Partial Differential Equations by Hidden-Layer
Concatenated Extreme Learning Machine
- Title（参考訳）: Hidden-Layer Concatenated Extreme Learning Machine による部分微分方程式の数値計算
- Authors: Naxian Ni, Suchuan Dong
- Abstract要約: 極学習機械(ELM)法は線形・非線形偏微分方程式(PDE)に対する高精度な解が得られる
ELM法では、ニューラルネットワークの最後の隠蔽層を広くして高い精度を達成する必要がある。
本稿では, HLConcELM (hidden-layerd ELM) と呼ばれる改良型EMM法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The extreme learning machine (ELM) method can yield highly accurate solutions
to linear/nonlinear partial differential equations (PDEs), but requires the
last hidden layer of the neural network to be wide to achieve a high accuracy.
If the last hidden layer is narrow, the accuracy of the existing ELM method
will be poor, irrespective of the rest of the network configuration. In this
paper we present a modified ELM method, termed HLConcELM (hidden-layer
concatenated ELM), to overcome the above drawback of the conventional ELM
method. The HLConcELM method can produce highly accurate solutions to
linear/nonlinear PDEs when the last hidden layer of the network is narrow and
when it is wide. The new method is based on a type of modified feedforward
neural networks (FNN), termed HLConcFNN (hidden-layer concatenated FNN), which
incorporates a logical concatenation of the hidden layers in the network and
exposes all the hidden nodes to the output-layer nodes. We show that HLConcFNNs
have the remarkable property that, given a network architecture, when
additional hidden layers are appended to the network or when extra nodes are
added to the existing hidden layers, the approximation capacity of the
HLConcFNN associated with the new architecture is guaranteed to be not smaller
than that of the original network architecture. We present ample benchmark
tests with linear/nonlinear PDEs to demonstrate the computational accuracy and
performance of the HLConcELM method and the superiority of this method to the
conventional ELM from previous works.
- Abstract（参考訳）: 極端学習機械(ELM)法は線形/非線形偏微分方程式(PDE)に対する高精度な解が得られるが、ニューラルネットワークの最後の隠れ層を広くして高い精度を達成する必要がある。
最後の隠蔽層が狭い場合、ネットワーク構成の他の部分に関係なく、既存のEMM法の精度は低下する。
本稿では,従来のEMM法の欠点を克服するため,HLConcELM (hidden-layer concatenated ELM) と呼ばれる改良ELM法を提案する。
HLConcELM法は,ネットワークの最後の隠蔽層が狭く,幅が広い場合に,線形/非線形PDEに対する高精度な解が得られる。
新しい手法は、HLConcFNN (hidden-layer concatenated FNN)と呼ばれる修正フィードフォワードニューラルネットワーク(FNN)のタイプに基づいており、ネットワーク内の隠された層を論理的に結合させ、すべての隠されたノードを出力層ノードに公開する。
HLConcFNNは,ネットワークアーキテクチャを前提として,ネットワークに新たな隠蔽層を追加する場合や,既存の隠蔽層に余分なノードを追加する場合,新たなアーキテクチャに関連するHLConcFNNの近似能力は,ネットワークアーキテクチャのそれよりも小さくないことが保証されている。
本稿では, HLConcELM法の計算精度と性能, 従来のEMMよりも優れた性能を示すために, 線形非線形PDEを用いたベンチマーク試験を行った。
関連論文リスト
- LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers [0.0468732641979009]
本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。
提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。
提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
論文 参考訳（メタデータ） (2024-10-29T17:20:14Z) - A Nonoverlapping Domain Decomposition Method for Extreme Learning Machines: Elliptic Problems [0.0]
エクストリーム・ラーニング・マシン(ELM)は、単一層フィードフォワードニューラルネットワークを用いて偏微分方程式(PDE)を解く手法である。
本稿では,EMMのトレーニング時間を短縮するだけでなく,並列計算にも適する非重複領域分解法(DDM)を提案する。
論文 参考訳（メタデータ） (2024-06-22T23:25:54Z) - Adaptive Multilevel Neural Networks for Parametric PDEs with Error Estimation [0.0]
ニューラルネットワークアーキテクチャは高次元パラメータ依存偏微分方程式(pPDE)を解くために提示される
モデルデータのパラメータを対応する有限要素解にマッピングするために構築される。
適応有限要素法(AFEM)で生成される粗いグリッド解と一連の補正を出力する。
論文 参考訳（メタデータ） (2024-03-19T11:34:40Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳（メタデータ） (2023-03-06T14:31:09Z) - Efficient Decompositional Rule Extraction for Deep Neural Networks [5.69361786082969]
ECLAIREは、大規模なDNNアーキテクチャと大規模なトレーニングデータセットの両方にスケール可能な、新しい時間ルール抽出アルゴリズムである。
ECLAIREは、現在の最先端手法よりも正確で理解しやすいルールセットを一貫して抽出することを示す。
論文 参考訳（メタデータ） (2021-11-24T16:54:10Z) - A novel Deep Neural Network architecture for non-linear system
identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。
メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。
このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文 参考訳（メタデータ） (2021-06-06T10:06:07Z) - A Meta-Learning Approach to the Optimal Power Flow Problem Under
Topology Reconfigurations [69.73803123972297]
メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。
開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
論文 参考訳（メタデータ） (2020-12-21T17:39:51Z) - Local Extreme Learning Machines and Domain Decomposition for Solving
Linear and Nonlinear Partial Differential Equations [0.0]
本稿では線形偏微分方程式と非線形偏微分方程式の解法を提案する。
この手法は、極端学習機械(ELM)、ドメイン分解、局所ニューラルネットワークのアイデアを組み合わせたものである。
本稿では,DGM法(Deep Galerkin Method)とPINN(Physical-informed Neural Network)を精度と計算コストの観点から比較する。
論文 参考訳（メタデータ） (2020-12-04T23:19:39Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。