論文の概要: On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks

• arxiv url: http://arxiv.org/abs/2012.10047v1
• Date: Fri, 18 Dec 2020 04:19:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 18:26:36.884597
• Title: On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks
• Title（参考訳）: フーリエ特徴ネットワークの固有ベクトルバイアスについて:物理インフォームドニューラルネットワークを用いた多スケールPDEの回帰から解法へ
• Authors: Sifan Wang, Hanwen Wang, Paris Perdikaris
• Abstract要約: ニューラルネットワーク(PINN)は、目標関数を近似する場合には、高周波またはマルチスケールの特徴を示す。 マルチスケールなランダムな観測機能を備えた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢で正確なPINNモデルにどのように結びつくかを正当化します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-informed neural networks (PINNs) are demonstrating remarkable promise in integrating physical models with gappy and noisy observational data, but they still struggle in cases where the target functions to be approximated exhibit high-frequency or multi-scale features. In this work we investigate this limitation through the lens of Neural Tangent Kernel (NTK) theory and elucidate how PINNs are biased towards learning functions along the dominant eigen-directions of their limiting NTK. Using this observation, we construct novel architectures that employ spatio-temporal and multi-scale random Fourier features, and justify how such coordinate embedding layers can lead to robust and accurate PINN models. Numerical examples are presented for several challenging cases where conventional PINN models fail, including wave propagation and reaction-diffusion dynamics, illustrating how the proposed methods can be used to effectively tackle both forward and inverse problems involving partial differential equations with multi-scale behavior. All code an data accompanying this manuscript will be made publicly available at \url{https://github.com/PredictiveIntelligenceLab/MultiscalePINNs}.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、物理モデルと余分でノイズの多い観測データを統合するという、目覚ましい将来性を示しているが、それでも、近似されるターゲット関数が高周波またはマルチスケールの特徴を示す場合に苦戦している。 本研究では,この限界を神経接核(ntk)理論のレンズを通して検討し,ピンが支配的固有方向に沿って学習関数にどのように偏っているかを解明する。 この観測により、時空間およびマルチスケールのランダムフーリエ特徴を用いた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢かつ正確なPINNモデルにどのように寄与するかを正当化する。 波動伝播や反応拡散ダイナミクスなど,従来のピンモデルが故障したいくつかの問題に対して,提案手法が多スケールの偏微分方程式を含む前方および逆問題に対して効果的に対処できることを示す数値例が提示されている。 この原稿に付随するデータはすべて、 \url{https://github.com/PredictiveIntelligenceLab/MultiscalePINNs} で公開されている。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Feature Mapping in Physics-Informed Neural Networks (PINNs) [1.9819034119774483]
  本研究では, Conjugate Kernel と Neural Tangent Kernel を限定した特徴マッピング層を用いた PINN の訓練力学について検討する。 より優れた代替として,条件付き正定値ラジアル基底関数を提案する。
  論文  参考訳（メタデータ） (2024-02-10T13:51:09Z)
• Multifidelity domain decomposition-based physics-informed neural networks and operators for time-dependent problems [40.46280139210502]
  多重忠実積層PINNとドメイン分解に基づく有限基底PINNの組み合わせを用いる。 ドメイン分解アプローチは、PINNと重ね合わせのPINNアプローチを明らかに改善する。 FBPINNアプローチは、多要素物理インフォームド・ディープ・オペレーター・ネットワークに拡張可能であることが実証された。
  論文  参考訳（メタデータ） (2024-01-15T18:32:53Z)
• $Δ$-PINNs: physics-informed neural networks on complex geometries [3.238149275474964]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式を含む前方および逆問題の解法において有望であることを示す。 現在までに、問題が解決されている領域のトポロジについて、PINNに知らせる明確な方法はない。 本稿では,Laplace-Beltrami演算子の固有関数に基づくPINNの新たな位置符号化機構を提案する。
  論文  参考訳（メタデータ） (2022-09-08T18:03:19Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Power and limitations of single-qubit native quantum neural networks [5.526775342940154]
  量子ニューラルネットワーク(QNN)は、機械学習、化学、最適化の応用を確立するための主要な戦略として登場した。 量子ニューラルネットワークのデータ再アップロードの表現能力に関する理論的枠組みを定式化する。
  論文  参考訳（メタデータ） (2022-05-16T17:58:27Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Learning in Sinusoidal Spaces with Physics-Informed Neural Networks [22.47355575565345]
  物理インフォームドニューラルネットワーク(PINN)は、物理増強された損失関数を用いて、その出力が基本的な物理法則と一致していることを保証する。 実際に多くの問題に対して正確なPINNモデルをトレーニングすることは困難であることが判明した。
  論文  参考訳（メタデータ） (2021-09-20T07:42:41Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。