論文の概要: Learnable Activation Functions in Physics-Informed Neural Networks for Solving Partial Differential Equations

• arxiv url: http://arxiv.org/abs/2411.15111v3
• Date: Sat, 07 Jun 2025 18:13:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:09.416758
• Title: Learnable Activation Functions in Physics-Informed Neural Networks for Solving Partial Differential Equations
• Title（参考訳）: 偏微分方程式を解く物理インフォームニューラルネットワークにおける学習可能な活性化関数
• Authors: Afrah Farea, Mustafa Serdar Celebi,
• Abstract要約: 偏微分方程式(PDE)を解くための物理インフォームドニューラルネットワーク(PINN)の学習可能なアクティベーション機能について検討する。 非線形波動,混合物理,流体力学など多種多様なPDEの活性化と基底関数について検討した。 以上の結果から,kansは機能的次元の呪いに直面し,より深いネットワークにおける難解な最適化の展望を生んでいることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate learnable activation functions in Physics-Informed Neural Networks (PINNs) for solving Partial Differential Equations (PDEs): comparing traditional Multilayer Perceptrons (MLPs) with fixed and trainable activations against Kolmogorov-Arnold Networks (KANs) that employ learnable basis functions. While PINNs effectively incorporate physical laws into the learning process, they suffer from convergence and spectral bias problems, which limit their applicability to problems with rapid oscillations or sharp transitions. In this work, we study various activation and basis functions across diverse PDEs, including oscillatory, nonlinear wave, mixed-physics, and fluid dynamics problems. Using empirical Neural Tangent Kernel (NTK) analysis and Hessian eigenvalue decomposition, we assess convergence behavior, stability, and high-frequency approximation capacity. While KANs offer improved expressivity for capturing complex, high-frequency PDE solutions, they introduce new optimization challenges, especially in deeper networks. Our findings show that KANs face a curse of functional dimensionality, creating intractable optimization landscapes in deeper networks. Low spectral bias alone does not guarantee good performance; adaptive spectral bias approaches such as B-splines achieve optimal results by balancing global stability with local high-frequency resolution. Different PDE types require tailored strategies: smooth global activation functions excel for wave phenomena, while local adaptive activation functions suit problems with sharp transitions.
• Abstract（参考訳）: 部分微分方程式(PDE)を解くための物理情報ニューラルネットワーク(PINN)の学習可能なアクティベーション機能について検討し、従来の多層パーセプトロン(MLP)と学習可能な基底関数を利用するコルモゴロフ・アルノルドネットワーク(KAN)との固定的および訓練可能なアクティベーションを比較した。 PINNは物理法則を学習プロセスに効果的に組み込むが、収束とスペクトルバイアスの問題に悩まされ、急激な振動や急激な遷移を伴う問題への適用性が制限される。 本研究では, 振動, 非線形波動, 混合物理, 流体力学など多種多様なPDEの活性化と基底関数について検討した。 経験的ニューラルタンジェントカーネル (NTK) 解析とヘッセン固有値分解を用いて, 収束挙動, 安定性, 高周波近似能力を評価する。 Kansは、複雑な高周波PDEソリューションをキャプチャするための表現性の改善を提供する一方で、特にディープネットワークにおいて、新しい最適化課題を導入している。 以上の結果から,kansは機能的次元の呪いに直面し,より深いネットワークにおける難解な最適化の展望を生んでいることが示唆された。 低スペクトルバイアスだけでは優れた性能は保証されないが、Bスプラインのような適応スペクトルバイアスアプローチは、大域的な安定性と局所的な高周波分解能のバランスをとることで最適な結果が得られる。 滑らかな大域的活性化関数は波動現象に対して優れ、局所的な適応的活性化関数は鋭い遷移を伴う問題に適合する。

関連論文リスト

• Multi-level datasets training method in Physics-Informed Neural Networks [0.0]
  PINNは、解決し難い問題や、その解決策に高周波成分を持つ問題に苦慮する。 本研究では,上記の問題を緩和するための代替手法を提案する。 CFDコミュニティのマルチグリッド手法にインスパイアされた現在のアプローチの根底にある考え方は、トレーニングを通じて異なる周波数誤差を効率的に除去することである。
  論文  参考訳（メタデータ） (2025-04-30T05:30:27Z)
• Towards a Foundation Model for Physics-Informed Neural Networks: Multi-PDE Learning with Active Sampling [0.0]
  物理インフォームドニューラルネットワーク(PINN)は、物理法則をニューラルネットワークトレーニングに埋め込むことで偏微分方程式(PDE)を解くための強力なフレームワークとして登場した。 本研究では,統一アーキテクチャ内で複数のPDEを解決可能な基礎PINNモデルの可能性について検討する。
  論文  参考訳（メタデータ） (2025-02-11T10:12:28Z)
• Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks [70.06682043272377]
  コルモゴロフ-アルノルドネットワーク(KAN)は、様々な領域における多層知覚(MLP)の代替としての可能性を示した。 微調整カンのためのローテンソルランク適応(LoTRA)を開発した。 微調整カンによる様々な偏微分方程式(PDE)を効率的に解くためのLoTRAの適用について検討する。
  論文  参考訳（メタデータ） (2025-02-10T04:57:07Z)
• AL-PINN: Active Learning-Driven Physics-Informed Neural Networks for Efficient Sample Selection in Solving Partial Differential Equations [0.0]
  偏微分方程式(PDE)の解法として物理情報ニューラルネットワーク(PINN)が誕生した。 サンプル選択を動的に最適化するために、不確実性定量化(UQ)とアクティブラーニング戦略を統合したアクティブラーニング駆動型PINN(AL-PINN)を提案する。 その結果,AL-PINN は従来の PINN と比較して精度が向上し,必要なトレーニングサンプルの数を削減できた。
  論文  参考訳（メタデータ） (2025-02-06T10:54:28Z)
• SPIKANs: Separable Physics-Informed Kolmogorov-Arnold Networks [0.9999629695552196]
  偏微分方程式(PDE)の解法として物理情報ニューラルネットワーク(PINN)が誕生した。 我々はSPIKAN(Sparable Physics-Informed Kolmogorov-Arnold Networks)を紹介する。 この新しいアーキテクチャは変数分離の原則をPIKANに適用し、各次元が個別のKAで扱われるような問題を分解する。
  論文  参考訳（メタデータ） (2024-11-09T21:10:23Z)
• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
  我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。 既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。 直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
  論文  参考訳（メタデータ） (2024-06-14T07:45:07Z)
• VS-PINN: A fast and efficient training of physics-informed neural networks using variable-scaling methods for solving PDEs with stiff behavior [0.0]
  本稿では,変数スケーリング手法を用いたPINNのトレーニング手法を提案する。 提案手法の有効性を実証し,PINNのトレーニング効率と性能を大幅に向上させることができることを確認した。
  論文  参考訳（メタデータ） (2024-06-10T14:11:15Z)
• Transport Equation based Physics Informed Neural Network to predict the Yield Strength of Architected Materials [0.0]
  PINNモデルは、提供されたデータセットの過度な適合を避ける能力を示す、例外的な一般化能力を示す。 この研究は、特定の実世界のアプリケーションに対してアクティベーション関数を選択しながら、性能と計算効率のバランスを打つことの重要性を強調している。
  論文  参考訳（メタデータ） (2023-07-29T12:42:03Z)
• Auxiliary-Tasks Learning for Physics-Informed Neural Network-Based Partial Differential Equations Solving [13.196871939441273]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)を解くための有望な代理モードとして登場した。 本研究では,4種類の補助タスク学習モードを提供する補助タスク学習ベースのATL-PINNを提案する。 その結果,提案した補助タスク学習モードは解の精度を大幅に向上し,96.62%の最大性能向上を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-07-12T13:46:40Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• A Physics Informed Neural Network Approach to Solution and Identification of Biharmonic Equations of Elasticity [0.0]
  本研究では,エアリーストレス関数とフーリエ級数を組み合わせた物理情報ニューラルネットワーク(PINN)の適用について検討する。 両高調波PDEに対するPINNソリューションの精度は, エアリー応力関数による特徴空間の強化により著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-08-16T17:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。