論文の概要: A Neumann-Neumann Acceleration with Coarse Space for Domain Decomposition of Extreme Learning Machines
- arxiv url: http://arxiv.org/abs/2503.10032v1
- Date: Thu, 13 Mar 2025 04:24:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-14 15:50:43.272437
- Title: A Neumann-Neumann Acceleration with Coarse Space for Domain Decomposition of Extreme Learning Machines
- Title（参考訳）: 極端学習機械の領域分割のための粗い空間を持つノイマン・ノイマン加速度
- Authors: Chang-Ock Lee, Byungeun Ryoo,
- Abstract要約: 極端学習機械(ELM)は物理インフォームドニューラルネットワークよりも高速かつ正確に偏微分方程式を解くことができる。
高い精度で解くためには少なくとも2乗の問題を解く必要がある場合、計算コストは高いままである。
本稿では,EMMのための粗い空間を構築し,トレーニングのさらなる加速を可能にする。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Extreme learning machines (ELMs), which preset hidden layer parameters and solve for last layer coefficients via a least squares method, can typically solve partial differential equations faster and more accurately than Physics Informed Neural Networks. However, they remain computationally expensive when high accuracy requires large least squares problems to be solved. Domain decomposition methods (DDMs) for ELMs have allowed parallel computation to reduce training times of large systems. This paper constructs a coarse space for ELMs, which enables further acceleration of their training. By partitioning interface variables into coarse and non-coarse variables, selective elimination introduces a Schur complement system on the non-coarse variables with the coarse problem embedded. Key to the performance of the proposed method is a Neumann-Neumann acceleration that utilizes the coarse space. Numerical experiments demonstrate significant speedup compared to a previous DDM method for ELMs.
- Abstract（参考訳）: 極端学習機械(ELMs)は隠れ層パラメータをプリセットし、最小二乗法で最終層係数を解くが、一般に物理情報ニューラルネットワークよりも高速かつ正確に偏微分方程式を解くことができる。
しかし、高い精度で解くためには少なくとも2乗の問題を解く必要がある場合、計算コストは高いままである。
ELMのためのドメイン分解法(DDM)は、大規模システムのトレーニング時間を短縮するために並列計算を可能にしている。
本稿では,EMMのための粗い空間を構築し,トレーニングのさらなる加速を可能にする。
インタフェース変数を粗い変数と非粗い変数に分割することにより、選択的除去は、粗い問題を埋め込んだ非粗い変数上のシュア補体系を導入する。
提案手法の性能の鍵となるのは、粗い空間を利用するノイマン・ノイマン加速度である。
数値実験により,EMMの従来のDDM法と比較して大幅に高速化された。
関連論文リスト
- MultiPDENet: PDE-embedded Learning with Multi-time-stepping for Accelerated Flow Simulation [48.41289705783405]
マルチスケールタイムステップ(MultiPDENet)を用いたPDE組み込みネットワークを提案する。
特に,有限差分構造に基づく畳み込みフィルタを少数のパラメータで設計し,最適化する。
4階ランゲ・クッタ積分器を微細な時間スケールで備えた物理ブロックが確立され、PDEの構造を埋め込んで予測を導出する。
論文 参考訳（メタデータ） (2025-01-27T12:15:51Z) - A Nonoverlapping Domain Decomposition Method for Extreme Learning Machines: Elliptic Problems [0.0]
エクストリーム・ラーニング・マシン(ELM)は、単一層フィードフォワードニューラルネットワークを用いて偏微分方程式(PDE)を解く手法である。
本稿では,EMMのトレーニング時間を短縮するだけでなく,並列計算にも適する非重複領域分解法(DDM)を提案する。
論文 参考訳（メタデータ） (2024-06-22T23:25:54Z) - Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。
大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
論文 参考訳（メタデータ） (2023-10-09T14:30:06Z) - A Deep Learning algorithm to accelerate Algebraic Multigrid methods in
Finite Element solvers of 3D elliptic PDEs [0.0]
本稿では,有限要素解法として用いる場合の代数的多重グリッド法の計算コストを最小化する新しいDeep Learningアルゴリズムを提案する。
本研究では,大きなスパース行列処理の計算コストを削減し,手前の回帰処理に必要な特徴を保存できることを実験的に証明する。
論文 参考訳（メタデータ） (2023-04-21T09:18:56Z) - Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse
Problems [64.29491112653905]
本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。
具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。
提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
論文 参考訳（メタデータ） (2023-03-10T07:42:49Z) - Numerical Approximation in CFD Problems Using Physics Informed Machine
Learning [0.0]
この論文は、幅広いCFD問題に普遍的に使用できる代替近似法を見つけるための様々な手法に焦点を当てている。
その焦点は、微分方程式を計算データによるトレーニングなしで解くことができるような、物理情報に基づく機械学習技術に留まっている。
極端な学習機械(ELM)は、チューナブルパラメーターを犠牲にして非常に高速なニューラルネットワークアルゴリズムである。
論文 参考訳（メタデータ） (2021-11-01T22:54:51Z) - On Computing the Hyperparameter of Extreme Learning Machines: Algorithm
and Application to Computational PDEs, and Comparison with Classical and
High-Order Finite Elements [0.0]
計算偏微分方程式(PDE)における極端学習機械(ELM)の利用について考察する。
ELMでは、ニューラルネットワーク内の隠れ層係数は$[-R_m,R_m]$で生成されたランダム値に割り当てられ、固定される。
本稿では、微分進化アルゴリズムに基づいて、$R_m$の最適値を計算する方法を提案する。
論文 参考訳（メタデータ） (2021-10-27T02:05:26Z) - Research of Damped Newton Stochastic Gradient Descent Method for Neural
Network Training [6.231508838034926]
勾配降下(SGD)のような一階法は、最近ディープニューラルネットワーク(DNN)を訓練するための一般的な最適化方法です。
本稿では、平均二乗誤差(MSE)の回帰問題とクロスエントロピー損失(CEL)の分類問題に対するDNNの訓練方法として、DN-SGD(Damped Newton Descent)とGGD-DN(Gradient Descent Damped Newton)を提案する。
提案手法はパラメータのごく一部を正確に計算し,計算コストを大幅に削減し,sgdよりも高速かつ高精度な学習プロセスを実現する。
論文 参考訳（メタデータ） (2021-03-31T02:07:18Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。