論文の概要: Feature Enforcing PINN (FE-PINN): A Framework for Learning the
Underlying-Physics to Resolve Unbalancing in the Objective Function Terms
- arxiv url: http://arxiv.org/abs/2308.08873v2
- Date: Fri, 15 Sep 2023 17:13:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 17:46:19.684378
- Title: Feature Enforcing PINN (FE-PINN): A Framework for Learning the
Underlying-Physics to Resolve Unbalancing in the Objective Function Terms
- Title(参考訳): 機能強化PINN(FE-PINN) - 目的関数項におけるアンバランシングの解法を学ぶためのフレームワーク
- Authors: Mahyar Jahaninasab, Mohamad Ali Bijarchi
- Abstract要約: 我々は新しいデータフリーフレームワークFeature Enforcecing Physics Informed Neural Network (FE-PINN)を提案する。
FE-PINNはバニラPINNにおける不均衡損失関数の課題を克服する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this study, we propose a new data-free framework, Feature Enforcing
Physics Informed Neural Network (FE-PINN), to overcome the challenge of an
imbalanced loss function in vanilla PINNs. The imbalance is caused by the
presence of two terms in the loss function: the partial differential loss and
the boundary condition mean squared error. A standard solution is to use loss
weighting, but it requires hyperparameter tuning. To address this challenge, we
introduce a process called smart initialization to force the neural network to
learn only the boundary conditions before the final training in a designed
process. In this method, clustered domain points are used to train a neural
network with designed weights, resulting in the creation of a neural network
called Foundation network. This results in a network with unique weights that
understand boundary conditions. Then, additional layers are used to improve the
accuracy. This solves the problem of an imbalanced loss function without
further need for hyperparameter tuning. For 2D flow over a cylinder as a
benchmark, smart initialization in FE-PINN is 574 times faster than
hyperparameter tuning in vanilla PINN. Even with the optimal loss weight value,
FE-PINN outperforms vanilla PINN by speeding up the average training time by
1.98. Also, the ability of the proposed approach is shown for an inverse
problem. To find the inlet velocity for a 2D flow over a cylinder, FE-PINN is
twice faster than vanilla PINN with the knowledge of optimal weight loss value
for vanilla PINN. Our results show that FE-PINN not only eliminates the
time-consuming process of loss weighting but also improves convergence speed
compared to vanilla PINN, even when the optimal weight value is used in its
loss function. In conclusion, this framework can be used as a fast and accurate
tool for solving a wide range of Partial Differential Equations across various
fields.
- Abstract(参考訳): 本研究では,バニラPINNにおける不均衡損失関数の課題を克服するために,新しいデータフリーフレームワークであるFeature Enforcecing Physics Informed Neural Network (FE-PINN)を提案する。
この不均衡は損失関数における2つの項(偏微分損失と境界条件平均二乗誤差)の存在によって引き起こされる。
標準的なソリューションは損失重み付けを使うが、ハイパーパラメータチューニングを必要とする。
この課題に対処するために、設計プロセスの最終トレーニング前にニューラルネットワークに境界条件のみを学習させるスマート初期化と呼ばれるプロセスを導入する。
この方法では、クラスタ化されたドメインポイントを使用して、設計された重みでニューラルネットワークをトレーニングし、foundation networkと呼ばれるニューラルネットワークを作成する。
これにより、境界条件を理解する独自の重みを持つネットワークが得られる。
次に、さらなるレイヤを使用して精度を向上させる。
これにより、ハイパーパラメータチューニングを必要とせずに、不均衡損失関数の問題を解決できる。
ベンチマークとしてシリンダー上の2次元フローでは、FE-PINNのスマート初期化はバニラPINNのハイパーパラメータチューニングよりも574倍高速である。
最適損失重量値であっても、FE-PINNは平均トレーニング時間を1.98倍にすることでバニラPINNを上回っている。
また, 逆問題に対して提案手法の有効性を示す。
シリンダー上の2次元流れの入口速度を求めるため、FE-PINNはバニラPINNの最適重量損失値の知識でバニラPINNの2倍高速である。
その結果, FE-PINNは損失重み付けの時間を短縮するだけでなく, バニラPINNと比較して, 損失関数の最適重み値を用いても収束速度を向上することがわかった。
結論として、このフレームワークは様々な分野にまたがる幅広い部分微分方程式を解くための高速で正確なツールとして利用できる。
関連論文リスト
- Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks [12.475834086073734]
1次勾配法はニューラルネットワークのトレーニングに広く用いられている。
近年の研究では、最初のニューラルオーダー法が世界最小収束を達成することができることが証明されている。
論文 参考訳(メタデータ) (2022-08-08T07:13:26Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳(メタデータ) (2022-08-02T18:27:13Z) - Training multi-objective/multi-task collocation physics-informed neural
network with student/teachers transfer learnings [0.0]
本稿では,事前学習ステップとネット間知識伝達アルゴリズムを用いたPINNトレーニングフレームワークを提案する。
多目的最適化アルゴリズムは、競合する制約のある物理的インフォームドニューラルネットワークの性能を向上させることができる。
論文 参考訳(メタデータ) (2021-07-24T00:43:17Z) - Effect of the initial configuration of weights on the training and
function of artificial neural networks [0.0]
グラディエントDescentを用いて訓練した2層ReLUネットワークの重みの偏りを定量的に評価した。
我々は,SGDによるトレーニングを成功させることで,初期重量設定の近辺にネットワークを置き去りにすることを発見した。
以上の結果から,SGDが局所最小値を効率的に検出できる能力は,重量のランダムな初期配置の近傍に限られていることが示唆された。
論文 参考訳(メタデータ) (2020-12-04T12:13:12Z) - Learning the ground state of a non-stoquastic quantum Hamiltonian in a
rugged neural network landscape [0.0]
ニューラルネットワークに基づく普遍的変動波動関数のクラスについて検討する。
特に,本稿では,ニューラルネットワークの表現率とモンテカルロサンプリングが一次制限因子ではないことを示す。
論文 参考訳(メタデータ) (2020-11-23T05:25:47Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳(メタデータ) (2020-05-20T16:56:08Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。