論文の概要: Training dynamics in Physics-Informed Neural Networks with feature
mapping
- arxiv url: http://arxiv.org/abs/2402.06955v1
- Date: Sat, 10 Feb 2024 13:51:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 18:17:17.828479
- Title: Training dynamics in Physics-Informed Neural Networks with feature
mapping
- Title(参考訳): 特徴マッピングを用いた物理形ニューラルネットワークの学習ダイナミクス
- Authors: Chengxi Zeng, Tilo Burghardt, Alberto M Gambaruto
- Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための象徴的な機械学習手法として登場した。
本研究では,特徴写像層を持つPINNのトレーニングダイナミクスを,共役カーネルとニューラルタンジェントカーネルの制限により検討する。
この単純な手法は、入力ネットワークのコーディネートで容易に実装でき、幅広いPINNの研究に役立てることができる。
- 参考スコア(独自算出の注目度): 2.2274608188690666
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Physics-Informed Neural Networks (PINNs) have emerged as an iconic machine
learning approach for solving Partial Differential Equations (PDEs). Although
its variants have achieved significant progress, the empirical success of
utilising feature mapping from the wider Implicit Neural Representations
studies has been substantially neglected. We investigate the training dynamics
of PINNs with a feature mapping layer via the limiting Conjugate Kernel and
Neural Tangent Kernel, which sheds light on the convergence and generalisation
of the model. We also show the inadequacy of commonly used Fourier-based
feature mapping in some scenarios and propose the conditional positive definite
Radial Basis Function as a better alternative. The empirical results reveal the
efficacy of our method in diverse forward and inverse problem sets. This simple
technique can be easily implemented in coordinate input networks and benefits
the broad PINNs research.
- Abstract(参考訳): 物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための象徴的な機械学習手法として登場した。
その変種は大きな進歩を遂げているが、より広範なインプリシットニューラル表現研究から特徴マッピングを利用する経験的な成功は無視されている。
モデル収束と一般化に光を当てる Conjugate Kernel と Neural Tangent Kernel の制限による特徴マッピング層を用いた PINN の訓練力学について検討する。
また、いくつかのシナリオでよく使われるフーリエ型特徴写像が不十分であることを示し、より良い代替として条件付き正定根基関数を提案する。
実験の結果, 様々な前方および逆問題集合において, 本手法の有効性が示された。
この単純な手法は入力ネットワークのコーディネートで容易に実装でき、幅広いPINNの研究に役立てることができる。
関連論文リスト
- RBF-PINN: Non-Fourier Positional Embedding in Physics-Informed Neural
Networks [2.2274608188690666]
特定の状況下で広く使われているFourierベースの特徴マッピングの限界を強調した。
条件付き正定根基関数の使用を提案する。
我々の手法は座標に基づく入力ニューラルネットワークにシームレスに統合できる。
論文 参考訳(メタデータ) (2024-02-13T10:54:43Z) - Architectural Strategies for the optimization of Physics-Informed Neural
Networks [30.92757082348805]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)における前方および逆問題に対処するための有望な道を提供する
その顕著な経験的成功にもかかわらず、PINNは様々なPDEで悪名高いトレーニング課題の評判を得た。
論文 参考訳(メタデータ) (2024-02-05T04:15:31Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Transfer Learning with Physics-Informed Neural Networks for Efficient
Simulation of Branched Flows [1.1470070927586016]
物理インフォームドニューラルネットワーク(PINN)は微分方程式を解くための有望なアプローチを提供する。
PINNに対して最近開発されたトランスファー学習アプローチを採用し,マルチヘッドモデルを提案する。
提案手法は,スクラッチからトレーニングした標準PINNと比較して,計算速度が大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-11-01T01:50:00Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳(メタデータ) (2022-06-29T19:03:10Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳(メタデータ) (2022-02-27T23:12:43Z) - On the eigenvector bias of Fourier feature networks: From regression to
solving multi-scale PDEs with physics-informed neural networks [0.0]
ニューラルネットワーク(PINN)は、目標関数を近似する場合には、高周波またはマルチスケールの特徴を示す。
マルチスケールなランダムな観測機能を備えた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢で正確なPINNモデルにどのように結びつくかを正当化します。
論文 参考訳(メタデータ) (2020-12-18T04:19:30Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - A deep learning framework for solution and discovery in solid mechanics [1.4699455652461721]
本稿では,物理情報ニューラルネットワーク(PINN)と呼ばれるディープラーニングのクラスを,固体力学の学習と発見に応用する。
本稿では, 運動量バランスと弾性の関係をPINNに組み込む方法について解説し, 線形弾性への応用について詳細に検討する。
論文 参考訳(メタデータ) (2020-02-14T08:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。