論文の概要: Which Optimizer Works Best for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks?

• arxiv url: http://arxiv.org/abs/2501.16371v1
• Date: Wed, 22 Jan 2025 21:19:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 22:09:10.899634
• Title: Which Optimizer Works Best for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks?
• Title（参考訳）: 物理インフォームドニューラルネットワークとコルモゴロフ・アルノルドネットワークにはどの最適化が最適か?
• Authors: Elham Kiyani, Khemraj Shukla, Jorge F. Urbán, Jérôme Darbon, George Em Karniadakis,
• Abstract要約: 物理学 アーノルドニューラルネットワーク(PINN)は偏微分方程式(PDE)の計算に革命をもたらした これらのPINNは、ニューラルネットワークのトレーニングプロセスにPDEをソフト制約として統合する。
• 参考スコア（独自算出の注目度）: 1.8175282137722093
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Physics-Informed Neural Networks (PINNs) have revolutionized the computation of PDE solutions by integrating partial differential equations (PDEs) into the neural network's training process as soft constraints, becoming an important component of the scientific machine learning (SciML) ecosystem. In its current implementation, PINNs are mainly optimized using first-order methods like Adam, as well as quasi-Newton methods such as BFGS and its low-memory variant, L-BFGS. However, these optimizers often struggle with highly non-linear and non-convex loss landscapes, leading to challenges such as slow convergence, local minima entrapment, and (non)degenerate saddle points. In this study, we investigate the performance of Self-Scaled Broyden (SSBroyden) methods and other advanced quasi-Newton schemes, including BFGS and L-BFGS with different line search strategies approaches. These methods dynamically rescale updates based on historical gradient information, thus enhancing training efficiency and accuracy. We systematically compare these optimizers on key challenging linear, stiff, multi-scale and non-linear PDEs benchmarks, including the Burgers, Allen-Cahn, Kuramoto-Sivashinsky, and Ginzburg-Landau equations, and extend our study to Physics-Informed Kolmogorov-Arnold Networks (PIKANs) representation. Our findings provide insights into the effectiveness of second-order optimization strategies in improving the convergence and accurate generalization of PINNs for complex PDEs by orders of magnitude compared to the state-of-the-art.
• Abstract（参考訳）: 物理情報ニューラルネットワーク(PINN)は、偏微分方程式(PDE)をニューラルネットワークのトレーニングプロセスにソフト制約として統合することでPDEソリューションの計算に革命をもたらし、科学機械学習(SciML)エコシステムの重要なコンポーネントとなった。 現在の実装では、PINNは主にAdamのような一階法やBFGSや低メモリのL-BFGSのような準ニュートン法を用いて最適化されている。 しかしながら、これらのオプティマイザは、非常に非線形で非凸なロスランドスケープに苦しむことが多く、緩やかな収束、局所的なミニマの包み込み、(非退化的なサドルポイントなどの課題に繋がる。 本研究では,BFGS や L-BFGS など,BFGS とL-BFGS を含む先進的な準ニュートン方式と,異なる行探索手法を用いて,自己スケールブロイデン法(SSBroyden) の性能について検討する。 これらの手法は、履歴勾配情報に基づいて動的に更新をスケールし、トレーニング効率と精度を向上させる。 これらの最適化を,バーガーズ,アレン・カーン,倉本・シヴァシンスキー,ギンズバーグ・ランダウ方程式を含む重要な線形・剛性・多スケール・非線形PDEのベンチマーク上で体系的に比較し,物理インフォームド・コルモゴロフ・アルノルドネットワーク(PIKAN)の表現に拡張する。 本研究は, 複雑なPDEに対するPINNの収束と正確な一般化における2次最適化手法の有効性を, 最先端技術に比べて桁違いに向上する上での2次最適化手法の有効性について考察した。

関連論文リスト

• DiffGrad for Physics-Informed Neural Networks [0.0]
  バーガーズ方程式(英: Burgers' equation)は流体力学の基本方程式であり、PINNで広く用いられている。 本稿では,DiffGradをPINNに組み込むことで,バーガースの方程式を解く新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T04:39:35Z)
• Adaptive Training of Grid-Dependent Physics-Informed Kolmogorov-Arnold Networks [4.216184112447278]
  物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための堅牢なフレームワークとして登場した。 本稿では、PDEを解くために、グリッド依存のKolmogorov-Arnold Networks(PIKAN)の高速なJAXベースの実装を提案する。 適応的特徴は解の精度を著しく向上させ,基準解に対するL2誤差を最大43.02%減少させることを示した。
  論文  参考訳（メタデータ） (2024-07-24T19:55:08Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• Densely Multiplied Physics Informed Neural Networks [1.8554335256160261]
  物理インフォームドニューラルネットワーク(PINN)は非線形偏微分方程式(PDE)を扱う大きな可能性を示している 本稿では,PINNの性能向上のためにニューラルネットワークアーキテクチャを改良する。 本稿では,隠れたレイヤの出力と隠れたレイヤの出力とを乗算する,密乗型PINN(DM-PINN)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-02-06T20:45:31Z)
• Challenges in Training PINNs: A Loss Landscape Perspective [16.89714536706181]
  本稿では,物理インフォームドニューラルネットワーク(PINN)の学習における課題について考察する。 本稿では, PINN損失関数の最小化の難しさについて検討する。 NysNewton-CG(NysNewton-CG)を新たに導入し,PINNの性能を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-02T19:46:43Z)
• A Gaussian Process Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations [0.0]
  非線形PDEシステムを解くためにカーネル法とディープNNの長所を統合するためにカーネル重み付き補正残差(CoRes)を導入する。 CoResは幅広いベンチマーク問題の解決において競合する手法を一貫して上回っている。 我々はPDEの解決にカーネル手法を活用することに新たな関心を喚起する可能性があると考えている。
  論文  参考訳（メタデータ） (2024-01-07T14:09:42Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• RBF-MGN:Solving spatiotemporal PDEs with Physics-informed Graph Neural Network [4.425915683879297]
  グラフニューラルネットワーク(GNN)とラジアル基底関数有限差分(RBF-FD)に基づく新しいフレームワークを提案する。 RBF-FDはモデルトレーニングを導くために微分方程式の高精度差分形式を構築するために用いられる。 提案アルゴリズムの一般化可能性,精度,効率性を,異なるPDEパラメータで説明する。
  論文  参考訳（メタデータ） (2022-12-06T10:08:02Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。