論文の概要: When and why PINNs fail to train: A neural tangent kernel perspective

• arxiv url: http://arxiv.org/abs/2007.14527v1
• Date: Tue, 28 Jul 2020 23:44:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 02:01:51.202237
• Title: When and why PINNs fail to train: A neural tangent kernel perspective
• Title（参考訳）: PINNはいつ、なぜトレーニングに失敗したのか:ニューラル・タンジェント・カーネルの視点から
• Authors: Sifan Wang, Xinling Yu, Paris Perdikaris
• Abstract要約: PINNのニューラルタンジェントカーネル(NTK)を導出し、適切な条件下では、無限幅極限でのトレーニング中に一定となる決定論的カーネルに収束することを示す。 学習誤差の総和に寄与する損失成分の収束率に顕著な差があることが判明した。 本研究では,NTKの固有値を用いて学習誤差の収束率を適応的に調整する勾配降下アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-informed neural networks (PINNs) have lately received great attention thanks to their flexibility in tackling a wide range of forward and inverse problems involving partial differential equations. However, despite their noticeable empirical success, little is known about how such constrained neural networks behave during their training via gradient descent. More importantly, even less is known about why such models sometimes fail to train at all. In this work, we aim to investigate these questions through the lens of the Neural Tangent Kernel (NTK); a kernel that captures the behavior of fully-connected neural networks in the infinite width limit during training via gradient descent. Specifically, we derive the NTK of PINNs and prove that, under appropriate conditions, it converges to a deterministic kernel that stays constant during training in the infinite-width limit. This allows us to analyze the training dynamics of PINNs through the lens of their limiting NTK and find a remarkable discrepancy in the convergence rate of the different loss components contributing to the total training error. To address this fundamental pathology, we propose a novel gradient descent algorithm that utilizes the eigenvalues of the NTK to adaptively calibrate the convergence rate of the total training error. Finally, we perform a series of numerical experiments to verify the correctness of our theory and the practical effectiveness of the proposed algorithms. The data and code accompanying this manuscript are publicly available at \url{https://github.com/PredictiveIntelligenceLab/PINNsNTK}.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式を含む幅広い前方および逆問題に対処する柔軟性により、近年大きな注目を集めている。 しかし、その顕著な経験的成功にもかかわらず、そのような制約されたニューラルネットワークが勾配降下によるトレーニング中にどのように振る舞うかについては、ほとんど分かっていない。 さらに重要なのは、なぜそのようなモデルがトレーニングに失敗するのか、という点だ。 本研究では,勾配降下によるトレーニングにおいて,完全接続型ニューラルネットワークの無限幅限界における挙動を捉えるカーネルであるNeural Tangent Kernel (NTK) のレンズを用いて,これらの問題を調べることを目的とする。 具体的には、PINNのNTKを導出し、適切な条件下では、無限幅極限でのトレーニング中に一定となる決定論的カーネルに収束することを示す。 これにより、制限ntkのレンズを通してピンのトレーニングダイナミクスを分析し、トータルトレーニングエラーに寄与する異なる損失成分の収束率に顕著な差を見出すことができる。 そこで本研究では,ntkの固有値を用いて,総トレーニング誤差の収束率を適応的に調整する新しい勾配降下アルゴリズムを提案する。 最後に,本理論の正しさと提案アルゴリズムの実用性を検証するため,一連の数値実験を行った。 この原稿に付随するデータとコードは、 \url{https://github.com/PredictiveIntelligenceLab/PINNsNTK}で公開されている。

関連論文リスト

• Improving PINNs By Algebraic Inclusion of Boundary and Initial Conditions [0.1874930567916036]
  AI for Science」は、AI技術を用いた基本的な科学的問題を解決することを目的としている。 本研究では、トレーニング対象のモデルを単にニューラルネットワークから非線形変換に変更する可能性について検討する。 これにより、損失関数の項数は標準のPINN損失よりも減少する。
  論文  参考訳（メタデータ） (2024-07-30T11:19:48Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Understanding Sparse Feature Updates in Deep Networks using Iterative Linearisation [2.33877878310217]
  本稿では,より大規模で深いネットワークが一般化する理由を解明する実験ツールとして,反復線形化学習法を考案する。 様々なケースにおいて、反復線形化トレーニングは、標準トレーニングと同程度に驚くほど機能することを示す。 また、優れたパフォーマンスには機能学習が不可欠であることも示しています。
  論文  参考訳（メタデータ） (2022-11-22T15:34:59Z)
• Convergence rates for gradient descent in the training of overparameterized artificial neural networks with biases [3.198144010381572]
  近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。 ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
  論文  参考訳（メタデータ） (2021-02-23T18:17:47Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。