論文の概要: On Computing the Hyperparameter of Extreme Learning Machines: Algorithm and Application to Computational PDEs, and Comparison with Classical and High-Order Finite Elements

• arxiv url: http://arxiv.org/abs/2110.14121v1
• Date: Wed, 27 Oct 2021 02:05:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 15:34:11.588120
• Title: On Computing the Hyperparameter of Extreme Learning Machines: Algorithm and Application to Computational PDEs, and Comparison with Classical and High-Order Finite Elements
• Title（参考訳）: 極端学習マシンのハイパーパラメータの計算法:アルゴリズムと計算PDEへの応用、および古典的および高次有限要素との比較
• Authors: Suchuan Dong, Jielin Yang
• Abstract要約: 計算偏微分方程式(PDE)における極端学習機械(ELM)の利用について考察する。 ELMでは、ニューラルネットワーク内の隠れ層係数は$[-R_m,R_m]$で生成されたランダム値に割り当てられ、固定される。 本稿では、微分進化アルゴリズムに基づいて、$R_m$の最適値を計算する方法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the use of extreme learning machines (ELM) for computational partial differential equations (PDE). In ELM the hidden-layer coefficients in the neural network are assigned to random values generated on $[-R_m,R_m]$ and fixed, where $R_m$ is a user-provided constant, and the output-layer coefficients are trained by a linear or nonlinear least squares computation. We present a method for computing the optimal value of $R_m$ based on the differential evolution algorithm. The presented method enables us to illuminate the characteristics of the optimal $R_m$ for two types of ELM configurations: (i) Single-Rm-ELM, in which a single $R_m$ is used for generating the random coefficients in all the hidden layers, and (ii) Multi-Rm-ELM, in which multiple $R_m$ constants are involved with each used for generating the random coefficients of a different hidden layer. We adopt the optimal $R_m$ from this method and also incorporate other improvements into the ELM implementation. In particular, here we compute all the differential operators involving the output fields of the last hidden layer by a forward-mode auto-differentiation, as opposed to the reverse-mode auto-differentiation in a previous work. These improvements significantly reduce the network training time and enhance the ELM performance. We systematically compare the computational performance of the current improved ELM with that of the finite element method (FEM), both the classical second-order FEM and the high-order FEM with Lagrange elements of higher degrees, for solving a number of linear and nonlinear PDEs. It is shown that the current improved ELM far outperforms the classical FEM. Its computational performance is comparable to that of the high-order FEM for smaller problem sizes, and for larger problem sizes the ELM markedly outperforms the high-order FEM.
• Abstract（参考訳）: 計算偏微分方程式 (PDE) に対する極端な学習機械 (ELM) の利用を検討する。 ELMでは、ニューラルネットワーク内の隠れ層係数を$[-R_m,R_m]$で生成したランダム値に割り当て、そこで、$R_m$はユーザ提供定数であり、出力層係数は線形または非線形の最小二乗計算により訓練される。 本稿では,微分進化アルゴリズムに基づいて,$r_m$の最適値を計算する手法を提案する。 提案手法により,2種類のEMM構成に対して最適な$R_m$の特性を照らすことができる。 i) 単一のRm-ELMであって、すべての隠された層におけるランダム係数を生成するために1ドルR_m$を使用するもの (ii)複数のr_m$定数が関与するマルチrm-elmは、異なる隠れ層のランダム係数を生成するために使用される。 我々はこの方法から最適な$R_m$を採用し、ELM実装に他の改良を加えている。 特に、前回の作業における逆モード自己微分とは対照的に、最後の隠れ層の出力フィールドを含むすべての微分演算子をフォワードモード自己微分によって計算する。 これらの改善により、ネットワークトレーニング時間が大幅に短縮され、EMM性能が向上した。 本研究では, 有限要素法 (FEM) と古典的2次有限要素法 (FEM) と高次2次有限要素法 (FEM) の計算性能を高次ラグランジュ要素 (Lagrange element) で体系的に比較し, 線形および非線形PDEを解く。 現在の改良EMMは従来のFEMよりもはるかに優れていた。 その計算性能は、より小さな問題サイズで高階のFEMと同等であり、より大きな問題サイズでは高階のFEMよりも顕著に優れている。

関連論文リスト

• A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations [9.588717577573684]
  偏微分方程式(PDE)を解くためのスケーラブルな事前条件付き原始ハイブリッド勾配アルゴリズムを提案する。 本稿では,提案手法の性能を,一般的なディープラーニングアルゴリズムと比較する。 その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。
  論文  参考訳（メタデータ） (2024-11-09T20:39:10Z)
• Sample-efficient Learning of Infinite-horizon Average-reward MDPs with General Function Approximation [53.17668583030862]
  一般関数近似の文脈において,無限水平平均逆マルコフ決定過程(AMDP)について検討する。 最適化最適化(LOOP)と呼ばれる新しいアルゴリズムフレームワークを提案する。 我々は LOOP がサブ線形 $tildemathcalO(mathrmpoly(d, mathrmsp(V*)) sqrtTbeta )$ regret を達成することを示す。
  論文  参考訳（メタデータ） (2024-04-19T06:24:22Z)
• Global optimization of MPS in quantum-inspired numerical analysis [0.0]
  この研究は、ハミルトン方程式の最も低い固有状態の探索に焦点を当てている。 5つのアルゴリズムが導入された: 想像時間進化、最も急勾配降下、改良された降下、暗黙的に再起動されたアルノルニ法、密度行列再正規化群 (DMRG) 最適化。
  論文  参考訳（メタデータ） (2023-03-16T16:03:51Z)
• A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data [0.0]
  我々は,新しいデータポイントに対するクラスタ効果を評価する革新的なアルゴリズムを導入し,このモデルのロバスト性や精度を高める。 このアプローチの推論的および予測的効果は、学生のスコアリングとタンパク質発現に適用することでさらに説明される。
  論文  参考訳（メタデータ） (2023-02-06T23:34:51Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Log-based Sparse Nonnegative Matrix Factorization for Data Representation [55.72494900138061]
  非負の行列因子化(NMF)は、非負のデータを部品ベースの表現で表すことの有効性から、近年広く研究されている。 そこで本研究では,係数行列に対数ノルムを課した新しいNMF法を提案する。 提案手法のロバスト性を高めるために,$ell_2,log$-(pseudo) ノルムを新たに提案した。
  論文  参考訳（メタデータ） (2022-04-22T11:38:10Z)
• Deep Learning-Based Power Control for Uplink Cell-Free Massive MIMO Systems [31.06830781747216]
  提案手法は教師あり学習の代わりに教師なし学習に頼っている。 ディープニューラルネットワーク(DNN)は、フェーディング係数とパワー係数のマップを短時間で学習するために訓練される。 提案手法によるmMIMOシステムのスペクトル効率は,最大値最適化のための従来の最適化手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-10-18T03:48:54Z)
• Self-supervised Symmetric Nonnegative Matrix Factorization [82.59905231819685]
  シンメトリー非負係数行列(SNMF)は、データクラスタリングの強力な方法であることを示した。 より良いクラスタリング結果を求めるアンサンブルクラスタリングにインスパイアされた,自己監視型SNMF(S$3$NMF)を提案する。 SNMFのコード特性に対する感度を、追加情報に頼らずに活用しています。
  論文  参考訳（メタデータ） (2021-03-02T12:47:40Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。