論文の概要: Enhancing training of physics-informed neural networks using domain-decomposition based preconditioning strategies

• arxiv url: http://arxiv.org/abs/2306.17648v2
• Date: Thu, 28 Dec 2023 02:34:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 22:49:27.544576
• Title: Enhancing training of physics-informed neural networks using domain-decomposition based preconditioning strategies
• Title（参考訳）: 領域分割に基づくプレコンディショニング戦略を用いた物理情報ニューラルネットワークのトレーニング強化
• Authors: Alena Kopani\v{c}\'akov\'a and Hardik Kothari and George Em Karniadakis and Rolf Krause
• Abstract要約: 広く使用されているL-BFGSに対して,加法的および乗法的プレコンディショニング戦略を導入する。 加法プレコンディショナーと乗算プレコンディショナーの両方が標準L-BFGSの収束を著しく改善することを示した。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose to enhance the training of physics-informed neural networks (PINNs). To this aim, we introduce nonlinear additive and multiplicative preconditioning strategies for the widely used L-BFGS optimizer. The nonlinear preconditioners are constructed by utilizing the Schwarz domain-decomposition framework, where the parameters of the network are decomposed in a layer-wise manner. Through a series of numerical experiments, we demonstrate that both, additive and multiplicative preconditioners significantly improve the convergence of the standard L-BFGS optimizer, while providing more accurate solutions of the underlying partial differential equations. Moreover, the additive preconditioner is inherently parallel, thus giving rise to a novel approach to model parallelism.
• Abstract（参考訳）: 本稿では,物理インフォームドニューラルネットワーク(PINN)のトレーニングを強化することを提案する。 そこで本研究では,L-BFGSオプティマイザの非線形加法および乗算プリコンディショニング手法を提案する。 非線形プレコンディショナーは、ネットワークのパラメータを階層的に分解するSchwarzドメイン分解フレームワークを利用して構成される。 一連の数値実験により、加法と乗法の両方のプリコンディショナーが標準のl-bfgsオプティマイザの収束を大幅に改善し、基礎となる偏微分方程式のより正確な解を提供することを示した。 さらに、加法プレコンディショナーは本質的に並列であるため、モデル並列化に対する新しいアプローチがもたらされる。

関連論文リスト

• Reimagining Linear Probing: Kolmogorov-Arnold Networks in Transfer Learning [18.69601183838834]
  Kolmogorov-Arnold Networks (KAN) は、伝達学習における従来の線形探索手法の拡張である。 Kanは、従来の線形探索よりも一貫して優れており、精度と一般化の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-09-12T05:36:40Z)
• Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
  暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。 IGDは線形収束速度で大域的に最適解を収束することを示す。
  論文  参考訳（メタデータ） (2024-07-03T06:10:41Z)
• Two-level overlapping additive Schwarz preconditioner for training scientific machine learning applications [1.8434042562191815]
  我々は、科学機械学習アプリケーションのトレーニングを加速するための、2レベル重なり合う新しいシュワルツプレコンディショナーを紹介する。 提案したプレコンディショナーの設計は、非線形二段重なり合うシュワルツプレコンディショナーによって動機付けられている。 提案した2レベルプレコンディショナーは、標準(LBS)の収束を著しく高速化するとともに、より正確な機械学習モデルを生成することを実証する。
  論文  参考訳（メタデータ） (2024-06-16T16:18:45Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Lifted Bregman Training of Neural Networks [28.03724379169264]
  本稿では,(潜在的に非滑らかな)近位写像を活性化関数として,フィードフォワードニューラルネットワークのトレーニングのための新しい数学的定式化を導入する。 この定式化はBregmanに基づいており、ネットワークのパラメータに関する偏微分がネットワークのアクティベーション関数の微分の計算を必要としないという利点がある。 ニューラルネットワークに基づく分類器のトレーニングや、スパースコーディングによる(デノーミング)オートエンコーダのトレーニングには、これらのトレーニングアプローチが等しく適しているか、さらに適していることを示す数値的な結果がいくつか提示される。
  論文  参考訳（メタデータ） (2022-08-18T11:12:52Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)
• Loss landscapes and optimization in over-parameterized non-linear systems and neural networks [20.44438519046223]
  広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。 広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。
  論文  参考訳（メタデータ） (2020-02-29T17:18:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。