論文の概要: Learning Specialized Activation Functions for Physics-informed Neural Networks

• arxiv url: http://arxiv.org/abs/2308.04073v1
• Date: Tue, 8 Aug 2023 06:11:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 13:55:11.850597
• Title: Learning Specialized Activation Functions for Physics-informed Neural Networks
• Title（参考訳）: 物理形ニューラルネットワークのための特殊活性化関数の学習
• Authors: Honghui Wang, Lu Lu, Shiji Song, Gao Huang
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は最適化の難しさに悩まされている。 PINNは異なる性質のPDEを解く際に,活性化機能に対して高い感度を示すことを示す。 異なる問題を解く際に最適な関数を探索するために適応的アクティベーション関数を導入する。
• 参考スコア（独自算出の注目度）: 36.823376881651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-informed neural networks (PINNs) are known to suffer from optimization difficulty. In this work, we reveal the connection between the optimization difficulty of PINNs and activation functions. Specifically, we show that PINNs exhibit high sensitivity to activation functions when solving PDEs with distinct properties. Existing works usually choose activation functions by inefficient trial-and-error. To avoid the inefficient manual selection and to alleviate the optimization difficulty of PINNs, we introduce adaptive activation functions to search for the optimal function when solving different problems. We compare different adaptive activation functions and discuss their limitations in the context of PINNs. Furthermore, we propose to tailor the idea of learning combinations of candidate activation functions to the PINNs optimization, which has a higher requirement for the smoothness and diversity on learned functions. This is achieved by removing activation functions which cannot provide higher-order derivatives from the candidate set and incorporating elementary functions with different properties according to our prior knowledge about the PDE at hand. We further enhance the search space with adaptive slopes. The proposed adaptive activation function can be used to solve different PDE systems in an interpretable way. Its effectiveness is demonstrated on a series of benchmarks. Code is available at https://github.com/LeapLabTHU/AdaAFforPINNs.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は最適化の難しさに悩まされている。 本研究では,PINNの最適化難易度とアクティベーション関数の関係を明らかにする。 具体的には, PINNは, 異なる性質を持つPDEを解く際に, 活性化関数に対して高い感度を示すことを示す。 既存の作業は通常、非効率な試行錯誤によってアクティベーション関数を選択する。 非効率な手動選択を回避し、PINNの最適化の難しさを軽減するため、異なる問題を解く際に最適な関数を探すための適応的アクティベーション関数を導入する。 異なる適応活性化関数を比較し,その限界をピンの文脈で議論する。 さらに,学習関数の滑らかさと多様性の要求度が高いピンズ最適化に,候補活性化関数の学習組合せのアイデアを合わせることを提案する。 これは、候補集合から高次微分を与えることができないアクティベーション関数を除去し、手前のPDEに関する以前の知識に従って基本関数を異なる性質で組み込むことによって達成される。 我々は,適応傾斜で探索空間をさらに強化する。 提案したアダプティブアクティベーション関数は、異なるPDEシステムを解釈可能な方法で解くために使用できる。 その効果は一連のベンチマークで示される。 コードはhttps://github.com/LeapLabTHU/AdaAFforPINNsで入手できる。

関連論文リスト

• Learnable Activation Functions in Physics-Informed Neural Networks for Solving Partial Differential Equations [0.0]
  物理情報ネットワーク(PINN)における学習可能なアクティベーション関数を用いた部分微分方程式(PDE)の解法について検討する。 従来のMLP(Multilayer Perceptrons)とKAN(Kolmogorov-Arnold Neural Networks)に対する固定および学習可能なアクティベーションの比較を行った。 この発見は、PDEソルバのトレーニング効率、収束速度、テスト精度のバランスをとるニューラルネットワークアーキテクチャの設計に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-22T18:25:13Z)
• High-Fidelity Transfer of Functional Priors for Wide Bayesian Neural Networks by Learning Activations [1.0468715529145969]
  トレーニング可能なアクティベーションが,BNN上で複雑な関数空間にどのように対応できるかを示す。 本稿では,識別可能性,損失構成,対称性などの重要な学習課題について論じる。 実験により,単一の広層層を有するBNNであっても,高忠実度関数空間を効果的に実現できることが判明した。
  論文  参考訳（メタデータ） (2024-10-21T08:42:10Z)
• Physics-Informed Neural Networks: Minimizing Residual Loss with Wide Networks and Effective Activations [5.731640425517324]
  特定の条件下では、広いニューラルネットワークによってPINNの残留損失を世界規模で最小化できることを示す。 良好な高次導関数を持つ活性化関数は、残留損失を最小限に抑える上で重要な役割を果たす。 確立された理論は、PINNの効果的な活性化関数の設計と選択の道を開く。
  論文  参考訳（メタデータ） (2024-05-02T19:08:59Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions [0.0]
  この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
  論文  参考訳（メタデータ） (2021-07-04T18:20:27Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• Discovering Parametric Activation Functions [17.369163074697475]
  本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
  論文  参考訳（メタデータ） (2020-06-05T00:25:33Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)
• Optimizing Wireless Systems Using Unsupervised and Reinforced-Unsupervised Deep Learning [96.01176486957226]
  無線ネットワークにおけるリソース割り当てとトランシーバーは、通常最適化問題の解決によって設計される。 本稿では,変数最適化と関数最適化の両問題を解くための教師なし・教師なし学習フレームワークを紹介する。
  論文  参考訳（メタデータ） (2020-01-03T11:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。