論文の概要: Training dynamics in Physics-Informed Neural Networks with feature mapping

• arxiv url: http://arxiv.org/abs/2402.06955v1
• Date: Sat, 10 Feb 2024 13:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 18:17:17.828479
• Title: Training dynamics in Physics-Informed Neural Networks with feature mapping
• Title（参考訳）: 特徴マッピングを用いた物理形ニューラルネットワークの学習ダイナミクス
• Authors: Chengxi Zeng, Tilo Burghardt, Alberto M Gambaruto
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための象徴的な機械学習手法として登場した。 本研究では,特徴写像層を持つPINNのトレーニングダイナミクスを,共役カーネルとニューラルタンジェントカーネルの制限により検討する。 この単純な手法は、入力ネットワークのコーディネートで容易に実装でき、幅広いPINNの研究に役立てることができる。
• 参考スコア（独自算出の注目度）: 2.2274608188690666
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Physics-Informed Neural Networks (PINNs) have emerged as an iconic machine learning approach for solving Partial Differential Equations (PDEs). Although its variants have achieved significant progress, the empirical success of utilising feature mapping from the wider Implicit Neural Representations studies has been substantially neglected. We investigate the training dynamics of PINNs with a feature mapping layer via the limiting Conjugate Kernel and Neural Tangent Kernel, which sheds light on the convergence and generalisation of the model. We also show the inadequacy of commonly used Fourier-based feature mapping in some scenarios and propose the conditional positive definite Radial Basis Function as a better alternative. The empirical results reveal the efficacy of our method in diverse forward and inverse problem sets. This simple technique can be easily implemented in coordinate input networks and benefits the broad PINNs research.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための象徴的な機械学習手法として登場した。 その変種は大きな進歩を遂げているが、より広範なインプリシットニューラル表現研究から特徴マッピングを利用する経験的な成功は無視されている。 モデル収束と一般化に光を当てる Conjugate Kernel と Neural Tangent Kernel の制限による特徴マッピング層を用いた PINN の訓練力学について検討する。 また、いくつかのシナリオでよく使われるフーリエ型特徴写像が不十分であることを示し、より良い代替として条件付き正定根基関数を提案する。 実験の結果, 様々な前方および逆問題集合において, 本手法の有効性が示された。 この単純な手法は入力ネットワークのコーディネートで容易に実装でき、幅広いPINNの研究に役立てることができる。

関連論文リスト

• Approximation of RKHS Functionals by Neural Networks [30.42446856477086]
  ニューラルネットワークを用いたHilbert空間(RKHS)を再現するカーネル上の関数の近似について検討する。 逆多重四元数、ガウス、ソボレフのカーネルによって誘導される場合の明示的な誤差境界を導出する。 ニューラルネットワークが回帰マップを正確に近似できることを示すため,機能回帰に本研究の成果を適用した。
  論文  参考訳（メタデータ） (2024-03-18T18:58:23Z)
• RBF-PINN: Non-Fourier Positional Embedding in Physics-Informed Neural Networks [1.9819034119774483]
  特定の状況下で広く使われているFourierベースの特徴マッピングの限界を強調した。 条件付き正定根基関数の使用を提案する。 我々の手法は座標に基づく入力ニューラルネットワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-02-13T10:54:43Z)
• Nonlinear functional regression by functional deep neural network with kernel embedding [20.306390874610635]
  本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。 機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。 スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
  論文  参考訳（メタデータ） (2024-01-05T16:43:39Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks [0.0]
  ニューラルネットワーク(PINN)は、目標関数を近似する場合には、高周波またはマルチスケールの特徴を示す。 マルチスケールなランダムな観測機能を備えた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢で正確なPINNモデルにどのように結びつくかを正当化します。
  論文  参考訳（メタデータ） (2020-12-18T04:19:30Z)
• Variational Monte Carlo calculations of $\mathbf{A\leq 4}$ nuclei with an artificial neural-network correlator ansatz [62.997667081978825]
  光核の基底状態波動関数をモデル化するためのニューラルネットワーク量子状態アンサッツを導入する。 我々は、Aleq 4$核の結合エネルギーと点核密度を、上位のピオンレス実効場理論から生じるものとして計算する。
  論文  参考訳（メタデータ） (2020-07-28T14:52:28Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。