論文の概要: Which Optimizer Works Best for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks?

• arxiv url: http://arxiv.org/abs/2501.16371v2
• Date: Tue, 15 Apr 2025 03:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:08:25.756326
• Title: Which Optimizer Works Best for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks?
• Title（参考訳）: 物理インフォームドニューラルネットワークとコルモゴロフ・アルノルドネットワークにはどの最適化が最適か?
• Authors: Elham Kiyani, Khemraj Shukla, Jorge F. Urbán, Jérôme Darbon, George Em Karniadakis,
• Abstract要約: 我々は,バーガーズ,アレン・カシンスキー,ギンズバーグ・ランダウ方程式を含む,重要な挑戦的線形・剛性・多スケール非線形PDEについてPINNとPIKANを比較した。 PINN や PIKAN で一般的に用いられている他の機能拡張を使わずに改善点を明らかにした。
• 参考スコア（独自算出の注目度）: 1.8175282137722093
• License:
• Abstract: Physics-Informed Neural Networks (PINNs) have revolutionized the computation of PDE solutions by integrating partial differential equations (PDEs) into the neural network's training process as soft constraints, becoming an important component of the scientific machine learning (SciML) ecosystem. More recently, physics-informed Kolmogorv-Arnold networks (PIKANs) have also shown to be effective and comparable in accuracy with PINNs. In their current implementation, both PINNs and PIKANs are mainly optimized using first-order methods like Adam, as well as quasi-Newton methods such as BFGS and its low-memory variant, L-BFGS. However, these optimizers often struggle with highly non-linear and non-convex loss landscapes, leading to challenges such as slow convergence, local minima entrapment, and (non)degenerate saddle points. In this study, we investigate the performance of Self-Scaled BFGS (SSBFGS), Self-Scaled Broyden (SSBroyden) methods and other advanced quasi-Newton schemes, including BFGS and L-BFGS with different line search strategies approaches. These methods dynamically rescale updates based on historical gradient information, thus enhancing training efficiency and accuracy. We systematically compare these optimizers -- using both PINNs and PIKANs -- on key challenging linear, stiff, multi-scale and non-linear PDEs, including the Burgers, Allen-Cahn, Kuramoto-Sivashinsky, and Ginzburg-Landau equations. Our findings provide state-of-the-art results with orders-of-magnitude accuracy improvements without the use of adaptive weights or any other enhancements typically employed in PINNs. More broadly, our results reveal insights into the effectiveness of second-order optimization strategies in significantly improving the convergence and accurate generalization of PINNs and PIKANs.
• Abstract（参考訳）: 物理情報ニューラルネットワーク(PINN)は、偏微分方程式(PDE)をニューラルネットワークのトレーニングプロセスにソフト制約として統合することでPDEソリューションの計算に革命をもたらし、科学機械学習(SciML)エコシステムの重要なコンポーネントとなった。 最近では、物理インフォームされたKolmogorv-Arnoldネットワーク(PIKAN)も、PINNと同等の精度で有効であることが示されている。 現在の実装では、PINNとPIKANはAdamのような一階法とBFGSのような準ニュートン法と低メモリのL-BFGSを用いて最適化されている。 しかしながら、これらのオプティマイザは、非常に非線形で非凸なロスランドスケープに苦しむことが多く、緩やかな収束、局所的なミニマの包み込み、(非退化的なサドルポイントなどの課題に繋がる。 本研究では,BFGS や L-BFGS など,BFGS や L-BFGS など先進的な準ニュートン方式の行探索手法を用いて,自己スケール型BFGS (SSBFGS) 法や自己スケール型BFden (SSBroyden) 法の性能について検討した。 これらの手法は、履歴勾配情報に基づいて動的に更新をスケールし、トレーニング効率と精度を向上させる。 PINNとPIKANの両方を用いて、バーガーズ方程式、アレン・カーン方程式、倉本・シヴァシンスキー方程式、ギンズバーグ・ランダウ方程式を含む重要な挑戦的線形、剛性、多スケール、非線形PDEについて、これらの最適化を体系的に比較する。 以上の結果から,適応重みを使わずに精度の向上を図った。 より広範に、PINNとPIKANの収束と正確な一般化を著しく改善する2次最適化戦略の有効性に関する知見を明らかにした。

関連論文リスト

• On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
  変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。 本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。 また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
  論文  参考訳（メタデータ） (2024-09-09T06:10:31Z)
• DiffGrad for Physics-Informed Neural Networks [0.0]
  バーガーズ方程式(英: Burgers' equation)は流体力学の基本方程式であり、PINNで広く用いられている。 本稿では,DiffGradをPINNに組み込むことで,バーガースの方程式を解く新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T04:39:35Z)
• Adaptive Training of Grid-Dependent Physics-Informed Kolmogorov-Arnold Networks [4.216184112447278]
  物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための堅牢なフレームワークとして登場した。 本稿では、PDEを解くために、グリッド依存のKolmogorov-Arnold Networks(PIKAN)の高速なJAXベースの実装を提案する。 適応的特徴は解の精度を著しく向上させ,基準解に対するL2誤差を最大43.02%減少させることを示した。
  論文  参考訳（メタデータ） (2024-07-24T19:55:08Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• A Gaussian Process Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations [0.0]
  非線形PDEシステムを解くためにカーネル法とディープNNの長所を統合するためにカーネル重み付き補正残差(CoRes)を導入する。 CoResは幅広いベンチマーク問題の解決において競合する手法を一貫して上回っている。 我々はPDEの解決にカーネル手法を活用することに新たな関心を喚起する可能性があると考えている。
  論文  参考訳（メタデータ） (2024-01-07T14:09:42Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。