論文の概要: Enhancing Convergence Speed with Feature-Enforcing Physics-Informed Neural Networks: Utilizing Boundary Conditions as Prior Knowledge for Faster Convergence
- arxiv url: http://arxiv.org/abs/2308.08873v4
- Date: Sat, 6 Apr 2024 12:30:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 04:47:47.222531
- Title: Enhancing Convergence Speed with Feature-Enforcing Physics-Informed Neural Networks: Utilizing Boundary Conditions as Prior Knowledge for Faster Convergence
- Title(参考訳): 特徴強化型物理インフォームドニューラルネットワークによる収束速度向上-境界条件を高速収束のための優先知識として活用する
- Authors: Mahyar Jahaninasab, Mohamad Ali Bijarchi,
- Abstract要約: 本研究では,Vanilla Physics-Informed-Neural-Networks(PINN)の高速化学習手法を提案する。
ニューラルネットワークの初期重み付け状態、ドメイン間境界点比、損失重み付け係数という、損失関数の不均衡な3つの要因に対処する。
ニューラルネットワークの構造に第1のトレーニングフェーズで生成された重みを組み込むことで、不均衡因子の影響を中和することがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This study introduces an accelerated training method for Vanilla Physics-Informed-Neural-Networks (PINN) addressing three factors that imbalance the loss function: initial weight state of a neural network, domain to boundary points ratio, and loss weighting factor. We propose a novel two-stage training method. During the initial stage, we create a unique loss function using a subset of boundary conditions and partial differential equation terms. Furthermore, we introduce preprocessing procedures that aim to decrease the variance during initialization and choose domain points according to the initial weight state of various neural networks. The second phase resembles Vanilla-PINN training, but a portion of the random weights are substituted with weights from the first phase. This implies that the neural network's structure is designed to prioritize the boundary conditions, subsequently affecting the overall convergence. Three benchmarks are utilized: two-dimensional flow over a cylinder, an inverse problem of inlet velocity determination, and the Burger equation. It is found that incorporating weights generated in the first training phase into the structure of a neural network neutralizes the effects of imbalance factors. For instance, in the first benchmark, as a result of our process, the second phase of training is balanced across a wide range of ratios and is not affected by the initial state of weights, while the Vanilla-PINN failed to converge in most cases. Lastly, the initial training process not only eliminates the need for hyperparameter tuning to balance the loss function, but it also outperforms the Vanilla-PINN in terms of speed.
- Abstract(参考訳): 本研究では,ニューラルネットワークの初期重み付け状態,ドメイン間境界点比,損失重み付け係数の3因子に対処する,バニラ物理情報ニューラルネットワークス(PINN)の高速化トレーニング手法を提案する。
新たな2段階学習法を提案する。
初期段階では、境界条件と偏微分方程式項のサブセットを用いて一意な損失関数を生成する。
さらに,各ニューラルネットワークの初期重み状態に応じて,初期化時の分散を減少させる前処理手順を導入し,領域点を選択する。
第2フェーズはバニラ-PINN訓練に似ているが、ランダムな重量の一部は第1フェーズからの重量に置き換えられている。
これは、ニューラルネットワークの構造が境界条件を優先するように設計され、その後全体の収束に影響を与えることを意味する。
3つのベンチマークが利用されており、シリンダー上の2次元流れ、入口速度決定の逆問題、バーガー方程式である。
ニューラルネットワークの構造に第1のトレーニングフェーズで生成された重みを組み込むことで、不均衡因子の影響を中和することがわかった。
例えば、第1のベンチマークでは、当社のプロセスの結果、トレーニングの第2フェーズは幅広い比率でバランスが取れており、重量の初期状態の影響を受けない一方で、Vanilla-PINNはほとんどのケースで収束しなかった。
最後に、初期トレーニングプロセスでは、損失関数のバランスをとるためにハイパーパラメータチューニングが不要になるだけでなく、速度の面ではVanilla-PINNよりも優れています。
関連論文リスト
- Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks [12.475834086073734]
1次勾配法はニューラルネットワークのトレーニングに広く用いられている。
近年の研究では、最初のニューラルオーダー法が世界最小収束を達成することができることが証明されている。
論文 参考訳(メタデータ) (2022-08-08T07:13:26Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳(メタデータ) (2022-08-02T18:27:13Z) - Training multi-objective/multi-task collocation physics-informed neural
network with student/teachers transfer learnings [0.0]
本稿では,事前学習ステップとネット間知識伝達アルゴリズムを用いたPINNトレーニングフレームワークを提案する。
多目的最適化アルゴリズムは、競合する制約のある物理的インフォームドニューラルネットワークの性能を向上させることができる。
論文 参考訳(メタデータ) (2021-07-24T00:43:17Z) - Effect of the initial configuration of weights on the training and
function of artificial neural networks [0.0]
グラディエントDescentを用いて訓練した2層ReLUネットワークの重みの偏りを定量的に評価した。
我々は,SGDによるトレーニングを成功させることで,初期重量設定の近辺にネットワークを置き去りにすることを発見した。
以上の結果から,SGDが局所最小値を効率的に検出できる能力は,重量のランダムな初期配置の近傍に限られていることが示唆された。
論文 参考訳(メタデータ) (2020-12-04T12:13:12Z) - Learning the ground state of a non-stoquastic quantum Hamiltonian in a
rugged neural network landscape [0.0]
ニューラルネットワークに基づく普遍的変動波動関数のクラスについて検討する。
特に,本稿では,ニューラルネットワークの表現率とモンテカルロサンプリングが一次制限因子ではないことを示す。
論文 参考訳(メタデータ) (2020-11-23T05:25:47Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳(メタデータ) (2020-05-20T16:56:08Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。