論文の概要: Error convergence and engineering-guided hyperparameter search of PINNs:
towards optimized I-FENN performance
- arxiv url: http://arxiv.org/abs/2303.03918v2
- Date: Mon, 5 Jun 2023 07:40:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 02:37:53.818692
- Title: Error convergence and engineering-guided hyperparameter search of PINNs:
towards optimized I-FENN performance
- Title（参考訳）: PINNの誤差収束とエンジニアリング誘導型ハイパーパラメータ探索:最適化I-FENN性能に向けて
- Authors: Panos Pantidis, Habiba Eldababy, Christopher Miguel Tagle, Mostafa E.
Mobasher
- Abstract要約: PINNコンポーネントの2つの重要な側面に着目し,I-FENNの厳格さと性能を向上させる。
本稿では,新しい総合的パフォーマンス指標のセットに基づく体系的な数値的アプローチを提案する。
提案された分析は、科学と工学の他の応用にも直接拡張することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In our recently proposed Integrated Finite Element Neural Network (I-FENN)
framework (Pantidis and Mobasher, 2023) we showcased how PINNs can be deployed
on a finite element-level basis to swiftly approximate a state variable of
interest, and we applied it in the context of non-local gradient-enhanced
damage mechanics. In this paper, we enhance the rigour and performance of
I-FENN by focusing on two crucial aspects of its PINN component: a) the error
convergence analysis and b) the hyperparameter-performance relationship. Guided
by the available theoretical formulations in the field, we introduce a
systematic numerical approach based on a novel set of holistic performance
metrics to answer both objectives. In the first objective, we explore in detail
the convergence of the PINN training error and the global error against the
network size and the training sample size. We demonstrate a consistent
converging behavior of the two error types for any investigated combination of
network complexity, dataset size and choice of hyperparameters, which
empirically proves the conformance of the PINN setup and implementation to the
available convergence theories. In the second objective, we establish an
a-priori knowledge of the hyperparameters which favor higher predictive
accuracy, lower computational effort, and the least chances of arriving at
trivial solutions. The analysis leads to several outcomes that contribute to
the better performance of I-FENN, and fills a long-standing gap in the PINN
literature with regards to the numerical convergence of the network errors
while accounting for commonly used optimizers (Adam and L-BFGS). The proposed
analysis method can be directly extended to other ML applications in science
and engineering. The code and data utilized in the analysis are posted publicly
to aid the reproduction and extension of this research.
- Abstract（参考訳）: 最近提案している統合有限要素ニューラルネットワーク(i-fenn)フレームワーク(pantidis and mobasher, 2023)では、ピンを有限要素レベルで展開して、興味のある状態変数を迅速に近似する方法を紹介し、非局所勾配損傷力学の文脈に適用した。
本稿では、PINNコンポーネントの2つの重要な側面に着目し、I-FENNの厳格さと性能を向上させる。
a) 誤り収束分析及び誤り収束解析
b) ハイパーパラメータと性能の関係
この分野で利用可能な理論定式化を参考に、両目的に答える新しい総合的なパフォーマンス指標のセットに基づく体系的な数値的アプローチを導入する。
第1の目的は,ネットワークサイズとトレーニングサンプルサイズに対するpinnトレーニングエラーとグローバルエラーの収束について詳細に検討することである。
本稿では,ネットワークの複雑性,データセットサイズ,ハイパーパラメータの選択の組み合わせについて検討した2つの誤りタイプの一貫した収束挙動を実証し,pinn設定の適合性を実証し,利用可能な収束理論への実装を示す。
第2の目的は, 予測精度, 計算労力の低減, 自明な解に到達する可能性の少ないハイパーパラメータのa-priori知識を確立することである。
この分析は、I-FENNの性能向上に寄与するいくつかの結果をもたらし、一般的に使用される最適化器(AdamとL-BFGS)を考慮しつつ、ネットワークエラーの数値収束に関するPINN文献の長年のギャップを埋める。
提案手法は科学・工学における他のMLアプリケーションに直接拡張することができる。
分析で使用されるコードとデータは、この研究の再現と拡張を支援するために公開されている。
関連論文リスト
- An Efficient Approach to Regression Problems with Tensor Neural Networks [0.0]
本稿では、非パラメトリック回帰問題に対処するテンソルニューラルネットワーク(TNN)を提案する。
異なるサブネットワーク構造によって特徴づけられるTNNは、変数分離を効果的に促進する。
提案手法の重要な革新は,TNNフレームワーク内での統計的回帰と数値積分の統合である。
論文 参考訳（メタデータ） (2024-06-14T03:38:40Z) - Dynamically configured physics-informed neural network in topology
optimization applications [4.403140515138818]
物理インフォームドニューラルネットワーク(PINN)は、前方問題を解決する際に大量のデータを生成するのを避けることができる。
動的に構成された PINN-based Topology Optimization (DCPINN-TO) 法を提案する。
変位予測と最適化結果の精度は,DCPINN-TO法が効率的かつ効率的であることを示している。
論文 参考訳（メタデータ） (2023-12-12T05:35:30Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - On the Generalization of PINNs outside the training domain and the
Hyperparameters influencing it [1.3927943269211593]
PINNは、解データを必要としない微分方程式の解をエミュレートするように訓練されたニューラルネットワークアーキテクチャである。
トレーニング領域外におけるPINN予測の挙動を実証分析する。
PINNのアルゴリズム設定が一般化のポテンシャルに影響を及ぼすかどうかを評価し,予測に対する各効果を示す。
論文 参考訳（メタデータ） (2023-02-15T09:51:56Z) - Auto-PINN: Understanding and Optimizing Physics-Informed Neural
Architecture [77.59766598165551]
物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。
本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。
標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
論文 参考訳（メタデータ） (2022-05-27T03:24:31Z) - Revisiting PINNs: Generative Adversarial Physics-informed Neural
Networks and Point-weighting Method [70.19159220248805]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する
本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。
本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
論文 参考訳（メタデータ） (2022-05-18T06:50:44Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。
各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。
合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
論文 参考訳（メタデータ） (2020-12-17T23:21:53Z) - Advantage of Deep Neural Networks for Estimating Functions with
Singularity on Hypersurfaces [23.21591478556582]
我々は、ディープニューラルネットワーク(DNN)が他の標準手法よりも優れている理由を説明するために、ミニマックスレート分析を開発する。
本研究では,超曲面上の特異点を持つ非滑らか関数のクラスを推定することにより,このギャップを埋めようとしている。
論文 参考訳（メタデータ） (2020-11-04T12:51:14Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - A deep learning framework for solution and discovery in solid mechanics [1.4699455652461721]
本稿では,物理情報ニューラルネットワーク(PINN)と呼ばれるディープラーニングのクラスを,固体力学の学習と発見に応用する。
本稿では, 運動量バランスと弾性の関係をPINNに組み込む方法について解説し, 線形弾性への応用について詳細に検討する。
論文 参考訳（メタデータ） (2020-02-14T08:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。