Fugu-MT 論文翻訳(概要): On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks

論文の概要: On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks

arxiv url: http://arxiv.org/abs/2012.10047v1
Date: Fri, 18 Dec 2020 04:19:30 GMT
ステータス: 処理完了
システム内更新日: 2021-05-01 18:26:36.884597
Title: On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks
Title（参考訳）: フーリエ特徴ネットワークの固有ベクトルバイアスについて:物理インフォームドニューラルネットワークを用いた多スケールPDEの回帰から解法へ
Authors: Sifan Wang, Hanwen Wang, Paris Perdikaris
Abstract要約: ニューラルネットワーク(PINN)は、目標関数を近似する場合には、高周波またはマルチスケールの特徴を示す。マルチスケールなランダムな観測機能を備えた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢で正確なPINNモデルにどのように結びつくかを正当化します。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Physics-informed neural networks (PINNs) are demonstrating remarkable promise in integrating physical models with gappy and noisy observational data, but they still struggle in cases where the target functions to be approximated exhibit high-frequency or multi-scale features. In this work we investigate this limitation through the lens of Neural Tangent Kernel (NTK) theory and elucidate how PINNs are biased towards learning functions along the dominant eigen-directions of their limiting NTK. Using this observation, we construct novel architectures that employ spatio-temporal and multi-scale random Fourier features, and justify how such coordinate embedding layers can lead to robust and accurate PINN models. Numerical examples are presented for several challenging cases where conventional PINN models fail, including wave propagation and reaction-diffusion dynamics, illustrating how the proposed methods can be used to effectively tackle both forward and inverse problems involving partial differential equations with multi-scale behavior. All code an data accompanying this manuscript will be made publicly available at \url{https://github.com/PredictiveIntelligenceLab/MultiscalePINNs}.
Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、物理モデルと余分でノイズの多い観測データを統合するという、目覚ましい将来性を示しているが、それでも、近似されるターゲット関数が高周波またはマルチスケールの特徴を示す場合に苦戦している。本研究では,この限界を神経接核(ntk)理論のレンズを通して検討し,ピンが支配的固有方向に沿って学習関数にどのように偏っているかを解明する。この観測により、時空間およびマルチスケールのランダムフーリエ特徴を用いた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢かつ正確なPINNモデルにどのように寄与するかを正当化する。波動伝播や反応拡散ダイナミクスなど,従来のピンモデルが故障したいくつかの問題に対して,提案手法が多スケールの偏微分方程式を含む前方および逆問題に対して効果的に対処できることを示す数値例が提示されている。この原稿に付随するデータはすべて、 \url{https://github.com/PredictiveIntelligenceLab/MultiscalePINNs} で公開されている。

関連論文リスト

Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文参考訳（メタデータ） (2022-06-29T19:03:10Z)
LordNet: Learning to Solve Parametric Partial Differential Equations without Simulated Data [63.55861160124684]
本稿では,離散化されたPDEによって構築された平均2乗残差(MSR)損失から,ニューラルネットワークが直接物理を学習する一般データ自由パラダイムを提案する。具体的には,低ランク分解ネットワーク(LordNet)を提案する。 Poisson方程式とNavier-Stokes方程式を解く実験は、MSR損失による物理的制約がニューラルネットワークの精度と能力を向上させることを実証している。
論文参考訳（メタデータ） (2022-06-19T14:41:08Z)
Power and limitations of single-qubit native quantum neural networks [5.526775342940154]
量子ニューラルネットワーク(QNN)は、機械学習、化学、最適化の応用を確立するための主要な戦略として登場した。量子ニューラルネットワークのデータ再アップロードの表現能力に関する理論的枠組みを定式化する。
論文参考訳（メタデータ） (2022-05-16T17:58:27Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
論文参考訳（メタデータ） (2022-04-13T08:53:41Z)
The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文参考訳（メタデータ） (2022-02-27T23:12:43Z)
Scientific Machine Learning through Physics-Informed Neural Networks: Where we are and What's next [5.956366179544257]
physic-Informed Neural Networks (PINN) は、モデル方程式を符号化するニューラルネットワーク(NN)である。 PINNは現在ではPDE、分数方程式、積分微分方程式の解法として使われている。
論文参考訳（メタデータ） (2022-01-14T19:05:44Z)
Learning in Sinusoidal Spaces with Physics-Informed Neural Networks [22.47355575565345]
物理インフォームドニューラルネットワーク(PINN)は、物理増強された損失関数を用いて、その出力が基本的な物理法則と一致していることを保証する。実際に多くの問題に対して正確なPINNモデルをトレーニングすることは困難であることが判明した。
論文参考訳（メタデータ） (2021-09-20T07:42:41Z)
Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文参考訳（メタデータ） (2021-09-02T16:06:45Z)
Physics-informed Neural Network for Nonlinear Dynamics in Fiber Optics [10.335960060544904]
深層学習と物理を組み合わせる物理インフォームドニューラルネットワーク (PINN) について, 非線形シュリンガー方程式を解くために検討した。 PINNは、効果的な偏微分方程式解法であるだけでなく、光ファイバーにおける科学計算と自動モデリングの進歩にも期待できる技術である。
論文参考訳（メタデータ） (2021-09-01T12:19:32Z)
Scaling Properties of Deep Residual Networks [2.6763498831034043]
勾配降下法によりトレーニングした重りの性質と, ネットワーク深度によるスケーリングについて, 数値実験により検討した。神経ODE文学で想定されるものとは大きく異なるスケーリング体制の存在を観察する。これらの結果は、ディープResNetの適切な記述として、ニューラルODEモデルの有効性に疑問を投げかけた。
論文参考訳（メタデータ） (2021-05-25T22:31:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。