論文の概要: Learnable Activation Functions in Physics-Informed Neural Networks for Solving Partial Differential Equations

• arxiv url: http://arxiv.org/abs/2411.15111v1
• Date: Fri, 22 Nov 2024 18:25:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:04:22.834484
• Title: Learnable Activation Functions in Physics-Informed Neural Networks for Solving Partial Differential Equations
• Title（参考訳）: 偏微分方程式を解く物理インフォームニューラルネットワークにおける学習可能な活性化関数
• Authors: Afrah Fareaa, Mustafa Serdar Celebi,
• Abstract要約: 物理情報ネットワーク(PINN)における学習可能なアクティベーション関数を用いた部分微分方程式(PDE)の解法について検討する。 従来のMLP(Multilayer Perceptrons)とKAN(Kolmogorov-Arnold Neural Networks)に対する固定および学習可能なアクティベーションの比較を行った。 この発見は、PDEソルバのトレーニング効率、収束速度、テスト精度のバランスをとるニューラルネットワークアーキテクチャの設計に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We investigate the use of learnable activation functions in Physics-Informed Neural Networks (PINNs) for solving Partial Differential Equations (PDEs). Specifically, we compare the efficacy of traditional Multilayer Perceptrons (MLPs) with fixed and learnable activations against Kolmogorov-Arnold Networks (KANs), which employ learnable basis functions. Physics-informed neural networks (PINNs) have emerged as an effective method for directly incorporating physical laws into the learning process, offering a data-efficient solution for both the forward and inverse problems associated with PDEs. However, challenges such as effective training and spectral bias, where low-frequency components are learned more effectively, often limit their applicability to problems characterized by rapid oscillations or sharp transitions. By employing different activation or basis functions on MLP and KAN, we assess their impact on convergence behavior and spectral bias mitigation, and the accurate approximation of PDEs. The findings offer insights into the design of neural network architectures that balance training efficiency, convergence speed, and test accuracy for PDE solvers. By evaluating the influence of activation or basis function choices, this work provides guidelines for developing more robust and accurate PINN models. The source code and pre-trained models used in this study are made publicly available to facilitate reproducibility and future exploration.
• Abstract（参考訳）: 物理情報処理ニューラルネットワーク(PINN)における学習可能なアクティベーション関数を用いた部分微分方程式(PDE)の解法について検討する。 具体的には,従来の多層パーセプトロン(MLP)と,学習可能な基底関数を用いるコルモゴロフ・アルノルドネットワーク(KAN)に対する固定的かつ学習可能なアクティベーションとを比較した。 物理情報ニューラルネットワーク(PINN)は、物理法則を直接学習プロセスに組み込む効果的な方法として登場し、PDEに関連する前方問題と逆問題の両方に対して、データ効率のよいソリューションを提供している。 しかしながら、低周波成分をより効果的に学習する効果的なトレーニングやスペクトルバイアスといった課題は、急激な振動や急激な遷移によって特徴づけられる問題に適用性を制限することがしばしばある。 MLP と Kan で異なるアクティベーションや基底関数を用いることで、収束挙動とスペクトルバイアス緩和、PDE の正確な近似に与える影響を評価する。 この発見は、PDEソルバのトレーニング効率、収束速度、テスト精度のバランスをとるニューラルネットワークアーキテクチャの設計に関する洞察を提供する。 活性化や基底関数の選択の影響を評価することにより、より堅牢で正確なPINNモデルを開発するためのガイドラインを提供する。 本研究で使用されるソースコードと事前学習モデルは,再現性と今後の探索を容易にするために公開されている。

関連論文リスト

• Towards a Foundation Model for Physics-Informed Neural Networks: Multi-PDE Learning with Active Sampling [0.0]
  物理インフォームドニューラルネットワーク(PINN)は、物理法則をニューラルネットワークトレーニングに埋め込むことで偏微分方程式(PDE)を解くための強力なフレームワークとして登場した。 本研究では,統一アーキテクチャ内で複数のPDEを解決可能な基礎PINNモデルの可能性について検討する。
  論文  参考訳（メタデータ） (2025-02-11T10:12:28Z)
• Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks [70.06682043272377]
  コルモゴロフ-アルノルドネットワーク(KAN)は、様々な領域における多層知覚(MLP)の代替としての可能性を示した。 微調整カンのためのローテンソルランク適応(LoTRA)を開発した。 微調整カンによる様々な偏微分方程式(PDE)を効率的に解くためのLoTRAの適用について検討する。
  論文  参考訳（メタデータ） (2025-02-10T04:57:07Z)
• AL-PINN: Active Learning-Driven Physics-Informed Neural Networks for Efficient Sample Selection in Solving Partial Differential Equations [0.0]
  偏微分方程式(PDE)の解法として物理情報ニューラルネットワーク(PINN)が誕生した。 サンプル選択を動的に最適化するために、不確実性定量化(UQ)とアクティブラーニング戦略を統合したアクティブラーニング駆動型PINN(AL-PINN)を提案する。 その結果,AL-PINN は従来の PINN と比較して精度が向上し,必要なトレーニングサンプルの数を削減できた。
  論文  参考訳（メタデータ） (2025-02-06T10:54:28Z)
• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
  我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。 既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。 直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
  論文  参考訳（メタデータ） (2024-06-14T07:45:07Z)
• VS-PINN: A fast and efficient training of physics-informed neural networks using variable-scaling methods for solving PDEs with stiff behavior [0.0]
  本稿では,変数スケーリング手法を用いたPINNのトレーニング手法を提案する。 提案手法の有効性を実証し,PINNのトレーニング効率と性能を大幅に向上させることができることを確認した。
  論文  参考訳（メタデータ） (2024-06-10T14:11:15Z)
• Transport Equation based Physics Informed Neural Network to predict the Yield Strength of Architected Materials [0.0]
  PINNモデルは、提供されたデータセットの過度な適合を避ける能力を示す、例外的な一般化能力を示す。 この研究は、特定の実世界のアプリケーションに対してアクティベーション関数を選択しながら、性能と計算効率のバランスを打つことの重要性を強調している。
  論文  参考訳（メタデータ） (2023-07-29T12:42:03Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• A Physics Informed Neural Network Approach to Solution and Identification of Biharmonic Equations of Elasticity [0.0]
  本研究では,エアリーストレス関数とフーリエ級数を組み合わせた物理情報ニューラルネットワーク(PINN)の適用について検討する。 両高調波PDEに対するPINNソリューションの精度は, エアリー応力関数による特徴空間の強化により著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-08-16T17:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。