論文の概要: Which Optimizer Works Best for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks?

• arxiv url: http://arxiv.org/abs/2501.16371v1
• Date: Wed, 22 Jan 2025 21:19:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:42:03.429536
• Title: Which Optimizer Works Best for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks?
• Title（参考訳）: 物理インフォームドニューラルネットワークとコルモゴロフ・アルノルドネットワークにはどの最適化が最適か?
• Authors: Elham Kiyani, Khemraj Shukla, Jorge F. Urbán, Jérôme Darbon, George Em Karniadakis,
• Abstract要約: 物理学 アーノルドニューラルネットワーク(PINN)は偏微分方程式(PDE)の計算に革命をもたらした これらのPINNは、ニューラルネットワークのトレーニングプロセスにPDEをソフト制約として統合する。
• 参考スコア（独自算出の注目度）: 1.8175282137722093
• License:
• Abstract: Physics-Informed Neural Networks (PINNs) have revolutionized the computation of PDE solutions by integrating partial differential equations (PDEs) into the neural network's training process as soft constraints, becoming an important component of the scientific machine learning (SciML) ecosystem. In its current implementation, PINNs are mainly optimized using first-order methods like Adam, as well as quasi-Newton methods such as BFGS and its low-memory variant, L-BFGS. However, these optimizers often struggle with highly non-linear and non-convex loss landscapes, leading to challenges such as slow convergence, local minima entrapment, and (non)degenerate saddle points. In this study, we investigate the performance of Self-Scaled Broyden (SSBroyden) methods and other advanced quasi-Newton schemes, including BFGS and L-BFGS with different line search strategies approaches. These methods dynamically rescale updates based on historical gradient information, thus enhancing training efficiency and accuracy. We systematically compare these optimizers on key challenging linear, stiff, multi-scale and non-linear PDEs benchmarks, including the Burgers, Allen-Cahn, Kuramoto-Sivashinsky, and Ginzburg-Landau equations, and extend our study to Physics-Informed Kolmogorov-Arnold Networks (PIKANs) representation. Our findings provide insights into the effectiveness of second-order optimization strategies in improving the convergence and accurate generalization of PINNs for complex PDEs by orders of magnitude compared to the state-of-the-art.
• Abstract（参考訳）: 物理情報ニューラルネットワーク(PINN)は、偏微分方程式(PDE)をニューラルネットワークのトレーニングプロセスにソフト制約として統合することでPDEソリューションの計算に革命をもたらし、科学機械学習(SciML)エコシステムの重要なコンポーネントとなった。 現在の実装では、PINNは主にAdamのような一階法やBFGSや低メモリのL-BFGSのような準ニュートン法を用いて最適化されている。 しかしながら、これらのオプティマイザは、非常に非線形で非凸なロスランドスケープに苦しむことが多く、緩やかな収束、局所的なミニマの包み込み、(非退化的なサドルポイントなどの課題に繋がる。 本研究では,BFGS や L-BFGS など,BFGS とL-BFGS を含む先進的な準ニュートン方式と,異なる行探索手法を用いて,自己スケールブロイデン法(SSBroyden) の性能について検討する。 これらの手法は、履歴勾配情報に基づいて動的に更新をスケールし、トレーニング効率と精度を向上させる。 これらの最適化を,バーガーズ,アレン・カーン,倉本・シヴァシンスキー,ギンズバーグ・ランダウ方程式を含む重要な線形・剛性・多スケール・非線形PDEのベンチマーク上で体系的に比較し,物理インフォームド・コルモゴロフ・アルノルドネットワーク(PIKAN)の表現に拡張する。 本研究は, 複雑なPDEに対するPINNの収束と正確な一般化における2次最適化手法の有効性を, 最先端技術に比べて桁違いに向上する上での2次最適化手法の有効性について考察した。

関連論文リスト

• On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
  変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。 本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。 また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
  論文  参考訳（メタデータ） (2024-09-09T06:10:31Z)
• DiffGrad for Physics-Informed Neural Networks [0.0]
  バーガーズ方程式(英: Burgers' equation)は流体力学の基本方程式であり、PINNで広く用いられている。 本稿では,DiffGradをPINNに組み込むことで,バーガースの方程式を解く新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T04:39:35Z)
• Adaptive Training of Grid-Dependent Physics-Informed Kolmogorov-Arnold Networks [4.216184112447278]
  物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための堅牢なフレームワークとして登場した。 本稿では、PDEを解くために、グリッド依存のKolmogorov-Arnold Networks(PIKAN)の高速なJAXベースの実装を提案する。 適応的特徴は解の精度を著しく向上させ,基準解に対するL2誤差を最大43.02%減少させることを示した。
  論文  参考訳（メタデータ） (2024-07-24T19:55:08Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• A Gaussian Process Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations [0.0]
  非線形PDEシステムを解くためにカーネル法とディープNNの長所を統合するためにカーネル重み付き補正残差(CoRes)を導入する。 CoResは幅広いベンチマーク問題の解決において競合する手法を一貫して上回っている。 我々はPDEの解決にカーネル手法を活用することに新たな関心を喚起する可能性があると考えている。
  論文  参考訳（メタデータ） (2024-01-07T14:09:42Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。