論文の概要: Physical Activation Functions (PAFs): An Approach for More Efficient Induction of Physics into Physics-Informed Neural Networks (PINNs)

• arxiv url: http://arxiv.org/abs/2205.14630v2
• Date: Sat, 17 Jun 2023 07:42:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 06:05:23.047040
• Title: Physical Activation Functions (PAFs): An Approach for More Efficient Induction of Physics into Physics-Informed Neural Networks (PINNs)
• Title（参考訳）: 物理活性化関数(PAFs):物理インフォームドニューラルネットワーク(PINNs)へのより効率的な物理誘導のためのアプローチ
• Authors: Jassem Abbasi (1), P{\aa}l {\O}steb{\o} Andersen (1) ((1) University of Stavanger)
• Abstract要約: 物理アクティベーション関数(PAF)は、より複雑さが小さく、より長い範囲の予測に対してより妥当性の高い物理インフォームドニューラルネットワーク(PINN)を生成するのに役立つ。 PAFは、PDEシステムの初期条件や境界条件のような調査現象に関連する数学的公式にインスピレーションを与えることができる。 PAFの使用は、より複雑なPINNを生成するのに役立ち、より長い範囲の予測に対してより有効である、と結論付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, the gap between Deep Learning (DL) methods and analytical or numerical approaches in scientific computing is tried to be filled by the evolution of Physics-Informed Neural Networks (PINNs). However, still, there are many complications in the training of PINNs and optimal interleaving of physical models. Here, we introduced the concept of Physical Activation Functions (PAFs). This concept offers that instead of using general activation functions (AFs) such as ReLU, tanh, and sigmoid for all the neurons, one can use generic AFs that their mathematical expression is inherited from the physical laws of the investigating phenomena. The formula of PAFs may be inspired by the terms in the analytical solution of the problem. We showed that the PAFs can be inspired by any mathematical formula related to the investigating phenomena such as the initial or boundary conditions of the PDE system. We validated the advantages of PAFs for several PDEs including the harmonic oscillations, Burgers, Advection-Convection equation, and the heterogeneous diffusion equations. The main advantage of PAFs was in the more efficient constraining and interleaving of PINNs with the investigating physical phenomena and their underlying mathematical models. This added constraint significantly improved the predictions of PINNs for the testing data that was out-of-training distribution. Furthermore, the application of PAFs reduced the size of the PINNs up to 75% in different cases. Also, the value of loss terms was reduced by 1 to 2 orders of magnitude in some cases which is noteworthy for upgrading the training of the PINNs. The iterations required for finding the optimum values were also significantly reduced. It is concluded that using the PAFs helps in generating PINNs with less complexity and much more validity for longer ranges of prediction.
• Abstract（参考訳）: 近年,科学計算におけるディープラーニング(DL)手法と解析的あるいは数値的アプローチのギャップは,物理情報ニューラルネットワーク(PINN)の進化によって埋められている。 しかしながら、PINNのトレーニングや物理モデルの最適インターリーブには、多くの複雑さがある。 本稿では,Physical Activation Function(PAF)の概念を紹介した。 この概念は、すべてのニューロンにReLU、tanh、sigmoidのような一般的な活性化関数(AF)を使う代わりに、それらの数学的表現が研究現象の物理法則から受け継がれるような一般的なAFを使用することができる。 PAFの公式は、問題の解析解における項にインスピレーションを与えることができる。 PDEシステムの初期条件や境界条件のような調査現象に関連する数学的公式にインスピレーションを与えることができることを示した。 本研究では,高調波振動,バーガー,対流対流方程式,不均質拡散方程式を含む複数のpdesに対するpafの利点を検証する。 PAFの主な利点は、物理現象とその基礎となる数学的モデルの調査と、PINNのより効率的な制約とインターリーブであった。 この制約により、トレーニング外分布のテストデータに対するpinnの予測が大幅に改善された。 さらに, PAFの適用により, PINNのサイズが75%まで減少した。 また、ピンのトレーニングのアップグレードに特筆すべきケースでは、損失項の値が1桁から2桁削減された。 最適な値を見つけるのに必要なイテレーションも大幅に削減された。 PAFの使用は、より複雑なPINNの生成に役立ち、より長い範囲の予測に有効である、と結論付けている。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Understanding and Mitigating Extrapolation Failures in Physics-Informed Neural Networks [1.1510009152620668]
  異なるタイプのPDEの代表的な集合上でのPINNの補間挙動について検討する。 その結果,外挿障害は解関数の高周波数によるものではなく,フーリエスペクトルの時間的支持の変化によるものであることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T20:08:42Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• RBF-MGN:Solving spatiotemporal PDEs with Physics-informed Graph Neural Network [4.425915683879297]
  グラフニューラルネットワーク(GNN)とラジアル基底関数有限差分(RBF-FD)に基づく新しいフレームワークを提案する。 RBF-FDはモデルトレーニングを導くために微分方程式の高精度差分形式を構築するために用いられる。 提案アルゴリズムの一般化可能性,精度,効率性を,異なるPDEパラメータで説明する。
  論文  参考訳（メタデータ） (2022-12-06T10:08:02Z)
• Replacing Automatic Differentiation by Sobolev Cubatures fastens Physics Informed Neural Nets and strengthens their Approximation Power [0.6091702876917279]
  本稿では,物理インフォームド・ニューラルネット(PINN)のトレーニングに適用可能な,変分損失の新たな近似クラスを提案する。 損失計算は、自動微分(A.D.)を置き換えるソボレフキュウチャー(Sobolev cubatures)と呼ばれるガウス=ルジャンドルキュウチャーの拡張に依存する。
  論文  参考訳（メタデータ） (2022-11-23T11:23:08Z)
• Neural tangent kernel analysis of PINN for advection-diffusion equation [0.0]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解を数値的に近似する PINNは、クローズドフォーム解析ソリューションが利用可能である単純なケースでも苦労することが知られている。 この研究は、ニューラル・タンジェント・カーネル(NTK)理論を用いた線形対流拡散方程式(LAD)に対するPINNの体系的解析に焦点をあてる。
  論文  参考訳（メタデータ） (2022-11-21T18:35:14Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Physics-Informed Neural Network Method for Solving One-Dimensional Advection Equation Using PyTorch [0.0]
  PINNのアプローチは、最適化の強い制約としてPDEを尊重しながらニューラルネットワークのトレーニングを可能にします。 標準的な小規模循環シミュレーションでは、従来のアプローチは乱流拡散モデルの効果とほぼ同じ大きさの擬似拡散効果を組み込むことが示されている。 テストされた全てのスキームのうち、ピンズ近似のみが結果を正確に予測した。
  論文  参考訳（メタデータ） (2021-03-15T05:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。