論文の概要: Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2206.14862v1
• Date: Wed, 29 Jun 2022 19:03:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-02 09:11:37.503561
• Title: Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks
• Title（参考訳）: 物理インフォームドニューラルネットワークにおけるスペクトルバイアスの影響について
• Authors: Ghazal Farhani, Alexander Kazachek, Boyu Wang
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
• 参考スコア（独自算出の注目度）: 72.09574528342732
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Physics-informed neural network (PINN) algorithms have shown promising results in solving a wide range of problems involving partial differential equations (PDEs). However, they often fail to converge to desirable solutions when the target function contains high-frequency features, due to a phenomenon known as spectral bias. In the present work, we exploit neural tangent kernels (NTKs) to investigate the training dynamics of PINNs evolving under stochastic gradient descent with momentum (SGDM). This demonstrates SGDM significantly reduces the effect of spectral bias. We have also examined why training a model via the Adam optimizer can accelerate the convergence while reducing the spectral bias. Moreover, our numerical experiments have confirmed that wide-enough networks using SGDM still converge to desirable solutions, even in the presence of high-frequency features. In fact, we show that the width of a network plays a critical role in convergence.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 しかし、スペクトルバイアスと呼ばれる現象のため、ターゲット関数が高周波の特徴を含む場合、望ましい解に収束しないことが多い。 本研究は,運動量を伴う確率勾配降下下で進化するPINNのトレーニングダイナミクスを調べるために,ニューラルタンジェントカーネル(NTK)を利用する。 これにより、SGDMはスペクトルバイアスの影響を著しく減少させる。 また,Adamオプティマイザを用いたモデルトレーニングが,スペクトルバイアスを低減しつつ収束を加速できる理由についても検討した。 さらに,sgdmを用いた広帯域ネットワークは,高周波特性が存在する場合でも望ましい解に収束することを確認した。 実際、ネットワークの幅が収束において重要な役割を担っていることを示す。

関連論文リスト

• Understanding the dynamics of the frequency bias in neural networks [0.0]
  近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。 2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を開発した。 実験により、同じ原理が多層NNに拡張されていることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:09:16Z)
• Understanding and Mitigating Extrapolation Failures in Physics-Informed Neural Networks [1.1510009152620668]
  異なるタイプのPDEの代表的な集合上でのPINNの補間挙動について検討する。 その結果,外挿障害は解関数の高周波数によるものではなく,フーリエスペクトルの時間的支持の変化によるものであることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T20:08:42Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Investigations on convergence behaviour of Physics Informed Neural Networks across spectral ranges and derivative orders [0.0]
  ニューラルカーネル・タンジェント(NTK)理論からの重要な推論は、スペクトルバイアス(SB)の存在である。 SBは、完全に接続されたニューラルネットワーク(ANN)のターゲット関数の低周波成分であり、トレーニング中の高周波よりもかなり高速に学習される。 これは、非常に低い学習率パラメータを持つ平均平方誤差(MSE)損失関数に対して確立される。 正規化条件下では、PINNは強いスペクトルバイアスを示し、これは微分方程式の順序によって増加することが確証されている。
  論文  参考訳（メタデータ） (2023-01-07T06:31:28Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks [0.0]
  ニューラルネットワーク(PINN)は、目標関数を近似する場合には、高周波またはマルチスケールの特徴を示す。 マルチスケールなランダムな観測機能を備えた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢で正確なPINNモデルにどのように結びつくかを正当化します。
  論文  参考訳（メタデータ） (2020-12-18T04:19:30Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。