論文の概要: Error convergence and engineering-guided hyperparameter search of PINNs: towards optimized I-FENN performance

• arxiv url: http://arxiv.org/abs/2303.03918v1
• Date: Fri, 3 Mar 2023 17:39:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 15:15:41.890257
• Title: Error convergence and engineering-guided hyperparameter search of PINNs: towards optimized I-FENN performance
• Title（参考訳）: PINNの誤差収束とエンジニアリング誘導型ハイパーパラメータ探索:最適化I-FENN性能に向けて
• Authors: Panos Pantidis, Habiba Eldababy, Christopher Miguel Tagle, Mostafa E. Mobasher
• Abstract要約: 本研究の目的は,PINN コンポーネントの2つの重要な側面に着目し,提案する I-FENN アプローチの性能向上である。 L-BFGSの段階では, ひずみ場の高周波数を過大評価する傾向があり, 計算上より要求が大きいことを示す。 一方、ディープ・アンド・ナローのPINNはAdam最適化時に計算速度が遅くなり、簡単な解に到達して失敗を訓練する傾向にある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we aim at enhancing the performance of our proposed I-FENN approach by focusing on two crucial aspects of its PINN component: the error convergence analysis and the hyperparameter-performance relationship. By building on the I-FENN setup, our methodology relies on systematic engineering-oriented numerical analysis that is guided by the available mathematical theories on the topic. The objectivity of the characterization is achieved through a novel combination of performance metrics that asses the success of minimization of various error measures, the training efficiency through optimization process, and the training computational effort. In the first objective, we investigate in detail the convergence of the PINN training error and the global error against the network size and the training sample size. We demonstrate a consistent converging behavior of the two error types, which proves the conformance of the PINN setup and implementation to the available convergence theories. In the second objective, we aim to establish an a-priori knowledge of the hyperparameters which favor higher predictive accuracy, lower computational effort, and the least chances of arriving at trivial solutions. We show that shallow-and-wide networks tend to overestimate high frequencies of the strain field and they are computationally more demanding in the L-BFGS stage. On the other hand, deep-and-narrow PINNs yield higher errors; they are computationally slower during Adam optimization epochs, and they are more prone to training failure by arriving at trivial solutions. Our analysis leads to several outcomes that contribute to the better performance of I-FENN and fills a long-standing gap in the PINN literature with regards to the numerical convergence of the network errors. The proposed analysis method and conclusions can be directly extended to other ML applications in science and engineering.
• Abstract（参考訳）: 本稿では,PINNコンポーネントの2つの重要な側面,すなわち誤差収束解析とハイパーパラメータ・パフォーマンス関係に着目し,提案したI-FENN手法の性能向上を目指す。 提案手法は,I-FENNの設定に基づいて,そのトピックに関する数学的理論によって導かれる,システム工学指向の数値解析に依存する。 評価の客観性は,様々な誤差測度の最小化,最適化過程によるトレーニング効率,および計算努力の訓練を成功させる性能指標の新規な組み合わせによって達成される。 第1の目的は,ネットワークサイズとトレーニングサンプルサイズに対するpinnトレーニングエラーとグローバルエラーの収束について詳細に検討することである。 本稿では、PINNの設定と実装が利用可能な収束理論に適合していることを証明する2つのエラータイプの一貫した収束挙動を示す。 第2の目的は,予測精度の向上,計算労力の低減,自明な解に到達する確率の最小化を目標とする,ハイパーパラメータのアプリオリ知識の確立である。 L-BFGSの段階では, ひずみ場の高周波数を過大評価する傾向があり, 計算上より要求が大きいことを示す。 一方、深部・狭部PINNはAdam最適化のエポックの間に計算が遅くなり、簡単な解に到達して失敗を訓練する傾向にある。 本分析は,i-fennの性能向上に寄与するいくつかの結果をもたらし,ネットワークエラーの数値的収束に関して,pinn文献の長年のギャップを埋める。 提案手法と結論は、科学と工学における他のMLアプリケーションに直接拡張することができる。

関連論文リスト

• General-Kindred Physics-Informed Neural Network to the Solutions of Singularly Perturbed Differential Equations [11.121415128908566]
  我々は,Singular Perturbation Differential Equations(SPDE)の解法として,GKPINN(General-Kindred Physics-Informed Neural Network)を提案する。 この手法は, 境界層の事前知識を方程式から利用し, 境界層を近似するPINNを支援する新しいネットワークを確立する。 GKPINNは,確立したPINN法と比較して,2～4桁の誤差を2～4桁に削減し,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-08-27T02:03:22Z)
• Dynamically configured physics-informed neural network in topology optimization applications [4.403140515138818]
  物理インフォームドニューラルネットワーク(PINN)は、前方問題を解決する際に大量のデータを生成するのを避けることができる。 動的に構成された PINN-based Topology Optimization (DCPINN-TO) 法を提案する。 変位予測と最適化結果の精度は,DCPINN-TO法が効率的かつ効率的であることを示している。
  論文  参考訳（メタデータ） (2023-12-12T05:35:30Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• On the Generalization of PINNs outside the training domain and the Hyperparameters influencing it [1.3927943269211593]
  PINNは、解データを必要としない微分方程式の解をエミュレートするように訓練されたニューラルネットワークアーキテクチャである。 トレーニング領域外におけるPINN予測の挙動を実証分析する。 PINNのアルゴリズム設定が一般化のポテンシャルに影響を及ぼすかどうかを評価し,予測に対する各効果を示す。
  論文  参考訳（メタデータ） (2023-02-15T09:51:56Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
  本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。 各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。 合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-17T23:21:53Z)
• Advantage of Deep Neural Networks for Estimating Functions with Singularity on Hypersurfaces [23.21591478556582]
  我々は、ディープニューラルネットワーク(DNN)が他の標準手法よりも優れている理由を説明するために、ミニマックスレート分析を開発する。 本研究では,超曲面上の特異点を持つ非滑らか関数のクラスを推定することにより,このギャップを埋めようとしている。
  論文  参考訳（メタデータ） (2020-11-04T12:51:14Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• A deep learning framework for solution and discovery in solid mechanics [1.4699455652461721]
  本稿では,物理情報ニューラルネットワーク(PINN)と呼ばれるディープラーニングのクラスを,固体力学の学習と発見に応用する。 本稿では, 運動量バランスと弾性の関係をPINNに組み込む方法について解説し, 線形弾性への応用について詳細に検討する。
  論文  参考訳（メタデータ） (2020-02-14T08:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。