論文の概要: Feature Enforcing PINN (FE-PINN): A Framework for Learning the Underlying-Physics to Resolve Unbalancing in the Objective Function Terms

• arxiv url: http://arxiv.org/abs/2308.08873v2
• Date: Fri, 15 Sep 2023 17:13:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 17:46:19.684378
• Title: Feature Enforcing PINN (FE-PINN): A Framework for Learning the Underlying-Physics to Resolve Unbalancing in the Objective Function Terms
• Title（参考訳）: 機能強化PINN(FE-PINN) - 目的関数項におけるアンバランシングの解法を学ぶためのフレームワーク
• Authors: Mahyar Jahaninasab, Mohamad Ali Bijarchi
• Abstract要約: 我々は新しいデータフリーフレームワークFeature Enforcecing Physics Informed Neural Network (FE-PINN)を提案する。 FE-PINNはバニラPINNにおける不均衡損失関数の課題を克服する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this study, we propose a new data-free framework, Feature Enforcing Physics Informed Neural Network (FE-PINN), to overcome the challenge of an imbalanced loss function in vanilla PINNs. The imbalance is caused by the presence of two terms in the loss function: the partial differential loss and the boundary condition mean squared error. A standard solution is to use loss weighting, but it requires hyperparameter tuning. To address this challenge, we introduce a process called smart initialization to force the neural network to learn only the boundary conditions before the final training in a designed process. In this method, clustered domain points are used to train a neural network with designed weights, resulting in the creation of a neural network called Foundation network. This results in a network with unique weights that understand boundary conditions. Then, additional layers are used to improve the accuracy. This solves the problem of an imbalanced loss function without further need for hyperparameter tuning. For 2D flow over a cylinder as a benchmark, smart initialization in FE-PINN is 574 times faster than hyperparameter tuning in vanilla PINN. Even with the optimal loss weight value, FE-PINN outperforms vanilla PINN by speeding up the average training time by 1.98. Also, the ability of the proposed approach is shown for an inverse problem. To find the inlet velocity for a 2D flow over a cylinder, FE-PINN is twice faster than vanilla PINN with the knowledge of optimal weight loss value for vanilla PINN. Our results show that FE-PINN not only eliminates the time-consuming process of loss weighting but also improves convergence speed compared to vanilla PINN, even when the optimal weight value is used in its loss function. In conclusion, this framework can be used as a fast and accurate tool for solving a wide range of Partial Differential Equations across various fields.
• Abstract（参考訳）: 本研究では,バニラPINNにおける不均衡損失関数の課題を克服するために,新しいデータフリーフレームワークであるFeature Enforcecing Physics Informed Neural Network (FE-PINN)を提案する。 この不均衡は損失関数における2つの項(偏微分損失と境界条件平均二乗誤差)の存在によって引き起こされる。 標準的なソリューションは損失重み付けを使うが、ハイパーパラメータチューニングを必要とする。 この課題に対処するために、設計プロセスの最終トレーニング前にニューラルネットワークに境界条件のみを学習させるスマート初期化と呼ばれるプロセスを導入する。 この方法では、クラスタ化されたドメインポイントを使用して、設計された重みでニューラルネットワークをトレーニングし、foundation networkと呼ばれるニューラルネットワークを作成する。 これにより、境界条件を理解する独自の重みを持つネットワークが得られる。 次に、さらなるレイヤを使用して精度を向上させる。 これにより、ハイパーパラメータチューニングを必要とせずに、不均衡損失関数の問題を解決できる。 ベンチマークとしてシリンダー上の2次元フローでは、FE-PINNのスマート初期化はバニラPINNのハイパーパラメータチューニングよりも574倍高速である。 最適損失重量値であっても、FE-PINNは平均トレーニング時間を1.98倍にすることでバニラPINNを上回っている。 また, 逆問題に対して提案手法の有効性を示す。 シリンダー上の2次元流れの入口速度を求めるため、FE-PINNはバニラPINNの最適重量損失値の知識でバニラPINNの2倍高速である。 その結果, FE-PINNは損失重み付けの時間を短縮するだけでなく, バニラPINNと比較して, 損失関数の最適重み値を用いても収束速度を向上することがわかった。 結論として、このフレームワークは様々な分野にまたがる幅広い部分微分方程式を解くための高速で正確なツールとして利用できる。

関連論文リスト

• A third-order finite difference weighted essentially non-oscillatory scheme with shallow neural network [9.652617666391926]
  双曲保存法則のニューラルネットワークに基づく有限差分重み付き本質的に非振動(WENO)方式を導入する。 平均二乗誤差と平均二乗誤差の2つの損失関数を用いて、WENO3-JS重みをラベルとして計算する。 これらのWENO3-SNNスキームは, WENO3-JSとWENO3-Zのシミュレーションと比較して, 1次元実例で優れた結果を示し, 2次元実例で改善された挙動を示した。
  論文  参考訳（メタデータ） (2024-07-08T18:55:57Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Collocation-based Robust Variational Physics-Informed Neural Networks (CRVPINN) [0.0]
  物理インフォームドニューラルネットワーク(PINN)は部分微分方程式(PDE)の解法として成功している Robust Variational Physics-Informed Neural Networks (RVPINNs) の最近の研究は、基礎となる連続空間のノルムを離散レベルに便利に翻訳することの重要性を強調している。 本研究ではRVPINNの実装を加速し、元のPINNと同じ精神を持つ点配置方式でスパースグラム行列のLU分解を確立する。
  論文  参考訳（メタデータ） (2024-01-04T14:42:29Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks [12.475834086073734]
  1次勾配法はニューラルネットワークのトレーニングに広く用いられている。 近年の研究では、最初のニューラルオーダー法が世界最小収束を達成することができることが証明されている。
  論文  参考訳（メタデータ） (2022-08-08T07:13:26Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。