論文の概要: Feature Enforcing PINN (FE-PINN): A Framework to Learn the
Underlying-Physics Features Before Target Task
- arxiv url: http://arxiv.org/abs/2308.08873v1
- Date: Thu, 17 Aug 2023 09:10:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 17:14:15.198628
- Title: Feature Enforcing PINN (FE-PINN): A Framework to Learn the
Underlying-Physics Features Before Target Task
- Title(参考訳): feature enforcing pinn (fe-pinn): 対象タスクの前に基礎となる物理機能を学ぶためのフレームワーク
- Authors: Mahyar Jahaninasab, Mohamad Ali Bijarchi
- Abstract要約: FE-PINNは計算コストの低い問題の基本パターンを学習することができる。
FE-PINNは、シリンダー上の流れ、2次元熱伝導、入口速度を計算する逆問題という3つのベンチマークに適用される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this work, a new data-free framework called Feature Enforcing Physics
Informed Neural Network (FE-PINN) is introduced. This framework is capable of
learning the underlying pattern of any problem with low computational cost
before the main training loop. The loss function of vanilla PINN due to the
existence of two terms of partial differential residuals and boundary condition
mean squared error is imbalanced. FE-PINN solves this challenge with just one
minute of training instead of time-consuming hyperparameter tuning for loss
function that can take hours. The FE-PINN accomplishes this process by
performing a sequence of sub-tasks. The first sub-task learns useful features
about the underlying physics. Then, the model trains on the target task to
refine the calculations. FE-PINN is applied to three benchmarks, flow over a
cylinder, 2D heat conduction, and an inverse problem of calculating inlet
velocity. FE-PINN can solve each case with, 15x, 2x, and 5x speed up
accordingly. Another advantage of FE-PINN is that reaching lower order of value
for loss function is systematically possible. In this study, it was possible to
reach a loss value near 1e-5 which is challenging for vanilla PINN. FE-PINN
also has a smooth convergence process which allows for utilizing higher
learning rates in comparison to vanilla PINN. This framework can be used as a
fast, accurate tool for solving a wide range of Partial Differential Equations
(PDEs) across various fields.
- Abstract(参考訳): 本研究では、FE-PINN(Feature Enforcecing Physics Informed Neural Network)と呼ばれる新しいデータフリーフレームワークを紹介する。
このフレームワークは、メイントレーニングループの前に計算コストの低い問題の基本パターンを学習することができる。
偏微分残差と境界条件平均二乗誤差の2項の存在によるバニラPINNの損失関数は不均衡である。
FE-PINNはこの課題を、時間を要するロス関数のハイパーパラメータチューニングではなく、1分間のトレーニングで解決する。
feピンはサブタスクのシーケンスを実行することでこのプロセスを達成する。
最初のサブタスクは、基礎となる物理に関する有用な機能を学ぶ。
そして、モデルが目標タスクを訓練し、計算を洗練させる。
FE-PINNは、シリンダー上の流れ、2次元熱伝導、入口速度を計算する逆問題という3つのベンチマークに適用される。
FE-PINNは、各ケースを15倍、2倍、5倍のスピードで解決できる。
FE-PINNのもう1つの利点は、損失関数の低い値に到達することは体系的に可能であることである。
本研究では,バニラピンに挑戦する1e-5付近で損失値に達することができた。
FE-PINNは、バニラPINNと比較して高い学習率を利用することができるスムーズな収束プロセスも備えている。
このフレームワークは、様々な分野にわたる幅広い偏微分方程式(pdes)を解くための高速で正確なツールとして使うことができる。
関連論文リスト
- Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks [12.475834086073734]
1次勾配法はニューラルネットワークのトレーニングに広く用いられている。
近年の研究では、最初のニューラルオーダー法が世界最小収束を達成することができることが証明されている。
論文 参考訳(メタデータ) (2022-08-08T07:13:26Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳(メタデータ) (2022-08-02T18:27:13Z) - Training multi-objective/multi-task collocation physics-informed neural
network with student/teachers transfer learnings [0.0]
本稿では,事前学習ステップとネット間知識伝達アルゴリズムを用いたPINNトレーニングフレームワークを提案する。
多目的最適化アルゴリズムは、競合する制約のある物理的インフォームドニューラルネットワークの性能を向上させることができる。
論文 参考訳(メタデータ) (2021-07-24T00:43:17Z) - Effect of the initial configuration of weights on the training and
function of artificial neural networks [0.0]
グラディエントDescentを用いて訓練した2層ReLUネットワークの重みの偏りを定量的に評価した。
我々は,SGDによるトレーニングを成功させることで,初期重量設定の近辺にネットワークを置き去りにすることを発見した。
以上の結果から,SGDが局所最小値を効率的に検出できる能力は,重量のランダムな初期配置の近傍に限られていることが示唆された。
論文 参考訳(メタデータ) (2020-12-04T12:13:12Z) - Learning the ground state of a non-stoquastic quantum Hamiltonian in a
rugged neural network landscape [0.0]
ニューラルネットワークに基づく普遍的変動波動関数のクラスについて検討する。
特に,本稿では,ニューラルネットワークの表現率とモンテカルロサンプリングが一次制限因子ではないことを示す。
論文 参考訳(メタデータ) (2020-11-23T05:25:47Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳(メタデータ) (2020-05-20T16:56:08Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。