論文の概要: What You See is Not What You Get: Neural Partial Differential Equations and The Illusion of Learning

• arxiv url: http://arxiv.org/abs/2411.15101v1
• Date: Fri, 22 Nov 2024 18:04:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:02:38.652791
• Title: What You See is Not What You Get: Neural Partial Differential Equations and The Illusion of Learning
• Title（参考訳）: 目にするものは何か:ニューラル偏微分方程式と学習のイライラ
• Authors: Arvind Mohan, Ashesh Chattopadhyay, Jonah Miller,
• Abstract要約: 科学機械学習のための微分可能プログラミングは、第一原理物理学から派生したニューラルネットワークをPDE内に組み込む。 コミュニティでは、NeuralPDEはブラックボックスモデルよりも信頼性が高く、一般化可能であると広く仮定されている。 我々は、NeuralPDEと差別化可能なプログラミングモデルは、PDEシミュレーションで私たちが考えているように物理的に解釈可能であるか?
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Differentiable Programming for scientific machine learning (SciML) has recently seen considerable interest and success, as it directly embeds neural networks inside PDEs, often called as NeuralPDEs, derived from first principle physics. Therefore, there is a widespread assumption in the community that NeuralPDEs are more trustworthy and generalizable than black box models. However, like any SciML model, differentiable programming relies predominantly on high-quality PDE simulations as "ground truth" for training. However, mathematics dictates that these are only discrete numerical approximations of the true physics. Therefore, we ask: Are NeuralPDEs and differentiable programming models trained on PDE simulations as physically interpretable as we think? In this work, we rigorously attempt to answer these questions, using established ideas from numerical analysis, experiments, and analysis of model Jacobians. Our study shows that NeuralPDEs learn the artifacts in the simulation training data arising from the discretized Taylor Series truncation error of the spatial derivatives. Additionally, NeuralPDE models are systematically biased, and their generalization capability is likely enabled by a fortuitous interplay of numerical dissipation and truncation error in the training dataset and NeuralPDE, which seldom happens in practical applications. This bias manifests aggressively even in relatively accessible 1-D equations, raising concerns about the veracity of differentiable programming on complex, high-dimensional, real-world PDEs, and in dataset integrity of foundation models. Further, we observe that the initial condition constrains the truncation error in initial-value problems in PDEs, thereby exerting limitations to extrapolation. Finally, we demonstrate that an eigenanalysis of model weights can indicate a priori if the model will be inaccurate for out-of-distribution testing.
• Abstract（参考訳）: 科学機械学習のための微分可能なプログラミング(SciML)は、最近、第一原理物理学から派生したニューラルPDEと呼ばれるPDEの内部にニューラルネットワークを直接埋め込むため、かなりの関心と成功を見出している。 したがって、NeuralPDEはブラックボックスモデルよりも信頼性が高く、一般化可能であるというコミュニティの仮定が広く存在する。 しかしながら、他のSciMLモデルと同様に、微分可能プログラミングはトレーニングの「基底真理」として高品質なPDEシミュレーションに依存している。 しかし、数学はこれらが真の物理学の離散的な数値近似に過ぎないと定めている。 したがって、我々は、NeuralPDEと差別化可能なプログラミングモデルは、PDEシミュレーションで私たちが考えているように物理的に解釈可能であるか? 本研究では, 数値解析, 実験, モデルヤコビアンの解析から得られた概念を用いて, これらの疑問に厳密に答えようと試みる。 本研究では,NeuralPDEが空間微分の離散化Taylorシリーズトランケーション誤差から得られたシミュレーショントレーニングデータのアーティファクトを学習することを示す。 さらに、NeuralPDEモデルは体系的にバイアスを受けており、その一般化能力は、トレーニングデータセットとNeuralPDEの数値散逸とトランケーションエラーの巧妙なインタープレイと、実用的にはほとんど起こらないNeuralPDEによって実現される可能性が高い。 このバイアスは比較的アクセシブルな1次元方程式でも積極的に現れ、複雑な高次元の実世界のPDE上での微分可能プログラミングの正確性や基礎モデルのデータセットの整合性への懸念を提起する。 さらに,PDEの初期値問題において初期条件がトランケーション誤差を制約し,外挿に制限を加えることを観察した。 最後に、モデル重みの固有解析は、モデルが分布外テストに不正確であるかどうかを事前に示すことができることを示した。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Text2PDE: Latent Diffusion Models for Accessible Physics Simulation [7.16525545814044]
  物理シミュレーションに潜時拡散モデルを適用する方法をいくつか紹介する。 提案手法は、現在のニューラルPDEソルバと、精度と効率の両面で競合することを示す。 スケーラブルで正確で使用可能な物理シミュレータを導入することで、ニューラルPDEソルバを実用化に近づけたいと思っています。
  論文  参考訳（メタデータ） (2024-10-02T01:09:47Z)
• Filtered Partial Differential Equations: a robust surrogate constraint in physics-informed deep learning framework [1.220743263007369]
  そこで本研究では,従来の物理方程式のサロゲート制約(フィルタPDE,FPDE,略してFPDE)を提案し,ノイズおよびスパース観測データの影響を低減した。 ノイズ・スパシティ実験では、提案したFPDEモデルは従来のPDEモデルよりも堅牢性が高い。 実世界の実験データを物理インフォームドトレーニングに組み込むためには,提案したFPDE制約が有用である。
  論文  参考訳（メタデータ） (2023-11-07T07:38:23Z)
• Discovering Interpretable Physical Models using Symbolic Regression and Discrete Exterior Calculus [55.2480439325792]
  本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。 DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。 実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-10T13:23:05Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Generalized Neural Closure Models with Interpretability [28.269731698116257]
  我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。 マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。 本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:43Z)
• KoopmanLab: machine learning for solving complex physics equations [7.815723299913228]
  解析解や閉形式を使わずにPDEを学習するための、クープマンニューラルオペレータファミリーの効率的なモジュールであるクープマンLabを提案する。 我々のモジュールは、メッシュに依存しないニューラルネットワークベースのPDEソルバの一種であるクープマンニューラル演算子(KNO)の複数の変種から構成されている。 KNO のコンパクトな変種はモデルサイズが小さい PDE を正確に解くことができるが、KNO の大きな変種は高度に複雑な力学系を予測する上でより競争力がある。
  論文  参考訳（メタデータ） (2023-01-03T13:58:39Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• NeuralPDE: Modelling Dynamical Systems from Data [0.44259821861543996]
  本稿では、畳み込みニューラルネットワーク(CNN)と微分可能なODEソルバを組み合わせて動的システムをモデル化するモデルであるNeuralPDEを提案する。 標準PDEソルバで使用されるラインの手法は、CNNが任意のPDEダイナミクスをパラメトリズする自然な選択となる畳み込みを用いて表現できることを示す。 我々のモデルは、PDEの管理に関する事前の知識を必要とせずに、あらゆるデータに適用することができる。
  論文  参考訳（メタデータ） (2021-11-15T10:59:52Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。