論文の概要: Enhancing Convergence Speed with Feature-Enforcing Physics-Informed Neural Networks: Utilizing Boundary Conditions as Prior Knowledge for Faster Convergence
- arxiv url: http://arxiv.org/abs/2308.08873v4
- Date: Sat, 6 Apr 2024 12:30:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 04:47:47.222531
- Title: Enhancing Convergence Speed with Feature-Enforcing Physics-Informed Neural Networks: Utilizing Boundary Conditions as Prior Knowledge for Faster Convergence
- Title（参考訳）: 特徴強化型物理インフォームドニューラルネットワークによる収束速度向上-境界条件を高速収束のための優先知識として活用する
- Authors: Mahyar Jahaninasab, Mohamad Ali Bijarchi,
- Abstract要約: 本研究では,Vanilla Physics-Informed-Neural-Networks(PINN)の高速化学習手法を提案する。
ニューラルネットワークの初期重み付け状態、ドメイン間境界点比、損失重み付け係数という、損失関数の不均衡な3つの要因に対処する。
ニューラルネットワークの構造に第1のトレーニングフェーズで生成された重みを組み込むことで、不均衡因子の影響を中和することがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This study introduces an accelerated training method for Vanilla Physics-Informed-Neural-Networks (PINN) addressing three factors that imbalance the loss function: initial weight state of a neural network, domain to boundary points ratio, and loss weighting factor. We propose a novel two-stage training method. During the initial stage, we create a unique loss function using a subset of boundary conditions and partial differential equation terms. Furthermore, we introduce preprocessing procedures that aim to decrease the variance during initialization and choose domain points according to the initial weight state of various neural networks. The second phase resembles Vanilla-PINN training, but a portion of the random weights are substituted with weights from the first phase. This implies that the neural network's structure is designed to prioritize the boundary conditions, subsequently affecting the overall convergence. Three benchmarks are utilized: two-dimensional flow over a cylinder, an inverse problem of inlet velocity determination, and the Burger equation. It is found that incorporating weights generated in the first training phase into the structure of a neural network neutralizes the effects of imbalance factors. For instance, in the first benchmark, as a result of our process, the second phase of training is balanced across a wide range of ratios and is not affected by the initial state of weights, while the Vanilla-PINN failed to converge in most cases. Lastly, the initial training process not only eliminates the need for hyperparameter tuning to balance the loss function, but it also outperforms the Vanilla-PINN in terms of speed.
- Abstract（参考訳）: 本研究では,ニューラルネットワークの初期重み付け状態,ドメイン間境界点比,損失重み付け係数の3因子に対処する,バニラ物理情報ニューラルネットワークス(PINN)の高速化トレーニング手法を提案する。
新たな2段階学習法を提案する。
初期段階では、境界条件と偏微分方程式項のサブセットを用いて一意な損失関数を生成する。
さらに,各ニューラルネットワークの初期重み状態に応じて,初期化時の分散を減少させる前処理手順を導入し,領域点を選択する。
第2フェーズはバニラ-PINN訓練に似ているが、ランダムな重量の一部は第1フェーズからの重量に置き換えられている。
これは、ニューラルネットワークの構造が境界条件を優先するように設計され、その後全体の収束に影響を与えることを意味する。
3つのベンチマークが利用されており、シリンダー上の2次元流れ、入口速度決定の逆問題、バーガー方程式である。
ニューラルネットワークの構造に第1のトレーニングフェーズで生成された重みを組み込むことで、不均衡因子の影響を中和することがわかった。
例えば、第1のベンチマークでは、当社のプロセスの結果、トレーニングの第2フェーズは幅広い比率でバランスが取れており、重量の初期状態の影響を受けない一方で、Vanilla-PINNはほとんどのケースで収束しなかった。
最後に、初期トレーニングプロセスでは、損失関数のバランスをとるためにハイパーパラメータチューニングが不要になるだけでなく、速度の面ではVanilla-PINNよりも優れています。
関連論文リスト
- A third-order finite difference weighted essentially non-oscillatory scheme with shallow neural network [9.652617666391926]
双曲保存法則のニューラルネットワークに基づく有限差分重み付き本質的に非振動(WENO)方式を導入する。
平均二乗誤差と平均二乗誤差の2つの損失関数を用いて、WENO3-JS重みをラベルとして計算する。
これらのWENO3-SNNスキームは, WENO3-JSとWENO3-Zのシミュレーションと比較して, 1次元実例で優れた結果を示し, 2次元実例で改善された挙動を示した。
論文 参考訳（メタデータ） (2024-07-08T18:55:57Z) - Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳（メタデータ） (2024-06-06T23:19:57Z) - Collocation-based Robust Variational Physics-Informed Neural Networks (CRVPINN) [0.0]
物理インフォームドニューラルネットワーク(PINN)は部分微分方程式(PDE)の解法として成功している
Robust Variational Physics-Informed Neural Networks (RVPINNs) の最近の研究は、基礎となる連続空間のノルムを離散レベルに便利に翻訳することの重要性を強調している。
本研究ではRVPINNの実装を加速し、元のPINNと同じ精神を持つ点配置方式でスパースグラム行列のLU分解を確立する。
論文 参考訳（メタデータ） (2024-01-04T14:42:29Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks [12.475834086073734]
1次勾配法はニューラルネットワークのトレーニングに広く用いられている。
近年の研究では、最初のニューラルオーダー法が世界最小収束を達成することができることが証明されている。
論文 参考訳（メタデータ） (2022-08-08T07:13:26Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳（メタデータ） (2022-08-02T18:27:13Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳（メタデータ） (2020-05-20T16:56:08Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。