論文の概要: Scaling Laws and Pathologies of Single-Layer PINNs: Network Width and PDE Nonlinearity

• arxiv url: http://arxiv.org/abs/2603.12556v1
• Date: Fri, 13 Mar 2026 01:40:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:11.835411
• Title: Scaling Laws and Pathologies of Single-Layer PINNs: Network Width and PDE Nonlinearity
• Title（参考訳）: 単層PINNのスケーリング法則と病理:ネットワーク幅とPDE非線形性
• Authors: Faris Chaudhry,
• Abstract要約: 正準非線形PDE上での単層物理インフォームドニューラルネットワークに対する経験的スケーリング法則を確立する。 i) 解誤差がネットワーク幅で減少し, 固定された非線形性であっても, 解誤差が減少しない, および (ii) 複合的な障害が非線形性によって悪化する, 二重最適化の障害を同定する。 近似能力ではなく最適化が主要なボトルネックであることを示し、これらの複雑なスケーリング効果を経験的に測定する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We establish empirical scaling laws for Single-Layer Physics-Informed Neural Networks on canonical nonlinear PDEs. We identify a dual optimization failure: (i) a baseline pathology, where the solution error fails to decrease with network width, even at fixed nonlinearity, falling short of theoretical approximation bounds, and (ii) a compounding pathology, where this failure is exacerbated by nonlinearity. We provide quantitative evidence that a simple separable power law is insufficient, and that the scaling behavior is governed by a more complex, non-separable relationship. This failure is consistent with the concept of spectral bias, where networks struggle to learn the high-frequency solution components that intensify with nonlinearity. We show that optimization, not approximation capacity, is the primary bottleneck, and propose a methodology to empirically measure these complex scaling effects.
• Abstract（参考訳）: 正準非線形PDE上での単層物理インフォームドニューラルネットワークに対する経験的スケーリング法則を確立する。 二重最適化の失敗を特定します。 i) 解誤差がネットワーク幅で減少せず、固定された非線形性においても、理論近似境界に満たないような基本的病理 (II) この故障が非線形性によって悪化する複合病理。 我々は、単純な分離可能電力法則が不十分であり、スケーリングの挙動がより複雑で非分離不能な関係によって支配されているという定量的証拠を提供する。 この失敗はスペクトルバイアスの概念と一致しており、ネットワークは非線形性によって強化される高周波解成分を学習するのに苦労する。 近似能力ではなく最適化が主要なボトルネックであることを示し、これらの複雑なスケーリング効果を経験的に測定する手法を提案する。

関連論文リスト

• The Challenges of the Nonlinear Regime for Physics-Informed Neural Networks [0.0]
  非線形シナリオではNTKの視点が不足していることを示す。 線形および非線形の両方の場合において,そのような手法の収束保証について検討する。
  論文  参考訳（メタデータ） (2024-02-06T10:24:36Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• On the Stability Properties and the Optimization Landscape of Training Problems with Squared Loss for Neural Networks and General Nonlinear Conic Approximation Schemes [0.0]
  ニューラルネットワークと一般的な非線形円錐近似スキームの2乗損失を伴うトレーニング問題の最適化景観と安定性特性について検討する。 これらの不安定性に寄与する同じ効果が、サドル点や急激な局所ミニマの出現の原因でもあることを証明している。
  論文  参考訳（メタデータ） (2020-11-06T11:34:59Z)
• Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
  本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。 合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-26T11:31:08Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• Directional convergence and alignment in deep learning [38.73942298289583]
  交差エントロピーと関連する分類損失の最小化は無限大であるが, ネットワーク重みは勾配流により方向収束することを示した。 この証明は、ReLU、最大プール、線形および畳み込み層を許容する深い均質ネットワークに対して成り立つ。
  論文  参考訳（メタデータ） (2020-06-11T17:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。