論文の概要: The Challenges of the Nonlinear Regime for Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2402.03864v1
• Date: Tue, 6 Feb 2024 10:24:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 15:33:25.291130
• Title: The Challenges of the Nonlinear Regime for Physics-Informed Neural Networks
• Title（参考訳）: 物理インフォームドニューラルネットワークにおける非線形レジームの課題
• Authors: Andrea Bonfanti, Giuseppe Bruno, Cristina Cipriani
• Abstract要約: 本研究では,物理インフォームドニューラルネットワーク(PINN)の無限幅限界におけるトレーニングダイナミクスについて検討する。 微分作用素の線形性に依存するニューラル・タンジェント・カーネル(NTK)の異なる挙動に関する理論的結果を提供する。 本稿では,2次法の収束能力を考察し,スペクトルバイアスと緩やかな収束の課題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Neural Tangent Kernel (NTK) viewpoint represents a valuable approach to examine the training dynamics of Physics-Informed Neural Networks (PINNs) in the infinite width limit. We leverage this perspective and focus on the case of nonlinear Partial Differential Equations (PDEs) solved by PINNs. We provide theoretical results on the different behaviors of the NTK depending on the linearity of the differential operator. Moreover, inspired by our theoretical results, we emphasize the advantage of employing second-order methods for training PINNs. Additionally, we explore the convergence capabilities of second-order methods and address the challenges of spectral bias and slow convergence. Every theoretical result is supported by numerical examples with both linear and nonlinear PDEs, and we validate our training method on benchmark test cases.
• Abstract（参考訳）: ニューラル・タンジェント・カーネル(NTK)の視点は、無限幅限界における物理情報ニューラルネットワーク(PINN)のトレーニング力学を調べるための貴重なアプローチである。 我々はこの観点を活用し、PINNによって解決された非線形偏微分方程式(PDE)の事例に焦点を当てる。 微分作用素の線型性に依存するNTKの異なる挙動に関する理論的結果を提供する。 さらに,理論的な結果に触発されて,PINNの訓練に二階法を用いるという利点を強調した。 さらに, 2次法の収束能力を考察し, スペクトルバイアスと緩やかな収束の課題に対処する。 各理論結果は線形PDEと非線形PDEの数値例によって支持され、ベンチマークテストケースでのトレーニング方法を検証する。

関連論文リスト

• Controlled Learning of Pointwise Nonlinearities in Neural-Network-Like Architectures [14.93489065234423]
  本稿では,階層型計算アーキテクチャにおける自由形式非線形性のトレーニングのための一般的な変分フレームワークを提案する。 傾斜制約により、1-Lipschitz安定性、堅固な非膨張性、単調性/可逆性といった特性を課すことができる。 本稿では, 非線形性を適切な(一様でない)B-スプラインベースで表現することで, 数値関数最適化問題の解法を示す。
  論文  参考訳（メタデータ） (2024-08-23T14:39:27Z)
• Quantum Algorithms for Nonlinear Dynamics: Revisiting Carleman Linearization with No Dissipative Conditions [0.7373617024876725]
  非線形力学系をカルマン線形化法により線形常微分方程式(ODE)に埋め込む方法について検討する。 本分析は,従来の散逸状態を超えて誤差境界を探索することによって,これらの知見を拡張した。 我々は、この共振条件がカールマン線型化のトランケーションレベル$N$に対して線型収束をもたらすことを証明した。
  論文  参考訳（メタデータ） (2024-05-21T12:09:34Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Neural Ordinary Differential Equations for Nonlinear System Identification [0.9864260997723973]
  本研究では,NODEの性能をニューラル状態空間モデルと古典線形システム同定法と比較する。 実験の結果,NODEはベンチマーク手法に比べて精度を桁違いに向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-28T22:25:53Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Learning Nonlinear Waves in Plasmon-induced Transparency [0.0]
  プラズモン誘起透過性メタマテリアルシステムにおける非線形ソリトンの複雑な伝播を予測するためのリカレントニューラルネットワーク(RNN)アプローチを検討する。 我々は,長期記憶(LSTM)人工ニューラルネットワークによるシミュレーションと予測において,結果の顕著な一致を証明した。
  論文  参考訳（メタデータ） (2021-07-31T21:21:44Z)
• Inverse Problem of Nonlinear Schr\"odinger Equation as Learning of Convolutional Neural Network [5.676923179244324]
  提案手法を用いて,パラメータの相対的精度を推定できることを示す。 深い学習を伴う偏微分方程式の逆問題における自然な枠組みを提供する。
  論文  参考訳（メタデータ） (2021-07-19T02:54:37Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
  本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。 合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-26T11:31:08Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。