論文の概要: PINNs Failure Modes are Overfitting

• arxiv url: http://arxiv.org/abs/2605.30910v1
• Date: Fri, 29 May 2026 06:46:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.432226
• Title: PINNs Failure Modes are Overfitting
• Title（参考訳）: PINNの障害モードは過度に適合している
• Abstract要約: PINNは、機械学習に基づく偏微分方程式(PDE)のクラスである。 それらはある種の単純な方程式で失敗し、損失が低いにもかかわらず間違った解に収束することが知られている。 障害モードは過度な適合の結果であり、定期化によって障害モードが消滅することを示します。
• 参考スコア（独自算出の注目度）: 13.063093054280946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-Informed Neural Networks (PINNs) are a common class of machine learning-based partial differential equation (PDE) solvers which train a network to represent a solution by minimizing a residual loss that encodes the PDE. Despite their successes, they are known to fail on certain simple equations, converging to an incorrect solution despite low loss. These failure modes have garnered significant attention in the literature over the past several years, motivating both architectural and optimization based solutions. By directly visualizing the residual, we show that failure modes are the result of overfitting: the loss is minimized on the collocation points, but not elsewhere. Applying regularization causes the failure modes to vanish. Finally, we extend double backpropagation over the full set of residuals, and use it to achieve state-of-the-art performance on four standard failure mode equations with up to $23\times$ fewer collocation points and a vanilla architecture.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(英: Physics-Informed Neural Networks、PINN)は、PDEを符号化する残留損失を最小限に抑え、解を表すためにネットワークを訓練する機械学習ベースの偏微分方程式(PDE)の一般的なクラスである。 彼らの成功にもかかわらず、それらはある種の単純な方程式で失敗し、低損失にもかかわらず間違った解に収束することが知られている。 これらの障害モードは、アーキテクチャと最適化ベースのソリューションの両方を動機付け、過去数年間で文学において大きな注目を集めてきた。 残余を直接視覚化することにより、障害モードは過度な適合の結果であることを示す。 正規化を適用すると、障害モードが消滅する。 最後に、残差の完全な集合に対する二重バックプロパゲーションを拡張し、最大2,3\times$より少ないコロケーションポイントとバニラアーキテクチャを持つ4つの標準故障モード方程式の最先端性能を達成するためにそれを利用する。

関連論文リスト

• Overcoming the Loss Conditioning Bottleneck in Optimization-Based PDE Solvers: A Novel Well-Conditioned Loss Function [1.6135205846394396]
  近年,スカラー損失関数を最小化するPDEソルバが注目されている。 このような手法は古典的反復解法よりもはるかにゆっくりと収束し、一般に非効率的とみなされる。 この研究は理論的な洞察を与え、平均二乗誤差(MSE)損失の使用に非効率性をもたらす。 重みパラメータをチューニングすることにより、制限ケースでのMSE損失を低減しつつ、元のシステムとその正規方程式の間の条件数を柔軟に変調する。
  論文  参考訳（メタデータ） (2025-07-24T10:17:02Z)
• Enabling Automatic Differentiation with Mollified Graph Neural Operators [73.52999622724101]
  本稿では,自動微分と任意のジオメトリの正確な勾配を求める最初の手法であるモリファイドグラフニューラル演算子(m$GNO)を提案する。 正規格子上のPDEの例では、$m$GNOとオートグレードの組み合わせにより、L2相対データの誤差は有限差に比べて20倍減少した。 また、物理損失のみを使用し、有限差分に必要な分解能よりもはるかに低い精度で、非構造化点雲上のPDEをシームレスに解くことができる。
  論文  参考訳（メタデータ） (2025-04-11T06:16:30Z)
• Improved Physics-informed neural networks loss function regularization with a variance-based term [1.021879046275845]
  機械学習や統計モデリングにおいて、平均二乗または絶対誤差は誤差計量として一般的に用いられる(「損失関数」とも呼ばれる)。 本稿では,選択した誤差量の平均偏差と標準偏差を組み合わせた新しい損失関数を提案する。 その結果, 平均損失よりも解の質が向上し, 最大誤差も低かった。
  論文  参考訳（メタデータ） (2024-12-18T16:11:45Z)
• Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
  定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:34:57Z)
• A practical PINN framework for multi-scale problems with multi-magnitude loss terms [3.8645424244172135]
  PINNを用いたマルチスケール問題に対する実践的なディープラーニングフレームワークを提案する。 新しいPINN法は主に2つの点で従来のPINN法とは異なる。 提案手法は計算効率と計算精度において従来のPINN法より有意に優れていた。
  論文  参考訳（メタデータ） (2023-08-13T03:26:01Z)
• A Stable and Scalable Method for Solving Initial Value PDEs with Neural Networks [52.5899851000193]
  我々は,ネットワークの条件が悪くなるのを防止し,パラメータ数で時間線形に動作するODEベースのIPPソルバを開発した。 このアプローチに基づく現在の手法は2つの重要な問題に悩まされていることを示す。 まず、ODEに従うと、問題の条件付けにおいて制御不能な成長が生じ、最終的に許容できないほど大きな数値誤差が生じる。
  論文  参考訳（メタデータ） (2023-04-28T17:28:18Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Gradient descent provably escapes saddle points in the training of shallow ReLU networks [6.458742319938318]
  我々は、関連する力学系の結果の変種、中心安定な多様体定理を証明し、そこでは正規性要求のいくつかを緩和する。 浅部ReLUおよび漏洩ReLUネットワークに対する正方積分損失関数の臨界点の詳細な検討に基づいて、勾配降下がほとんどのサドル点を下降させることを示す。
  論文  参考訳（メタデータ） (2022-08-03T14:08:52Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Critical Investigation of Failure Modes in Physics-informed Neural Networks [0.9137554315375919]
  合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。 また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
  論文  参考訳（メタデータ） (2022-06-20T18:43:35Z)
• LordNet: An Efficient Neural Network for Learning to Solve Parametric Partial Differential Equations without Simulated Data [47.49194807524502]
  エンタングルメントをモデル化するためのチューナブルで効率的なニューラルネットワークであるLordNetを提案する。 ポアソン方程式と(2Dおよび3D)ナビエ・ストークス方程式を解く実験は、長距離の絡み合いがロードネットによってうまくモデル化できることを示した。
  論文  参考訳（メタデータ） (2022-06-19T14:41:08Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• Deep learning algorithms for solving high dimensional nonlinear backward stochastic differential equations [1.8655840060559168]
  我々は高次元非線形後方微分方程式(BSDEs)を解くためのディープラーニングに基づく新しいスキームを提案する。 我々は、ディープニューラルネットワークを用いたBSDEの未知解と、その勾配を自動微分で近似する。 提案アルゴリズムの性能を示すために,ファイナンスにおける価格問題を含む非線形BSDEについて述べる。
  論文  参考訳（メタデータ） (2020-10-03T10:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。