論文の概要: Self-scalable Tanh (Stan): Faster Convergence and Better Generalization
in Physics-informed Neural Networks
- arxiv url: http://arxiv.org/abs/2204.12589v1
- Date: Tue, 26 Apr 2022 20:56:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 00:41:13.719077
- Title: Self-scalable Tanh (Stan): Faster Convergence and Better Generalization
in Physics-informed Neural Networks
- Title(参考訳): 自己スケーブル・タン(stan) : 物理形ニューラルネットワークにおけるより高速な収束とより良い一般化
- Authors: Raghav Gnanasambandam, Bo Shen, Jihoon Chung, Xubo Yue, and Zhenyu
(James) Kong
- Abstract要約: 貧弱なスケーラビリティは、現実世界の多くの問題にPINNを利用することの障壁の1つです。
PINNに対して自己スケーリング可能なタン(Stan)活性化関数を提案する。
提案したStan関数は滑らかで非飽和であり、訓練可能なパラメータを持つ。
- 参考スコア(独自算出の注目度): 4.761526125774749
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Physics-informed Neural Networks (PINNs) are gaining attention in the
engineering and scientific literature for solving a range of differential
equations with applications in weather modeling, healthcare, manufacturing, and
so on. Poor scalability is one of the barriers to utilizing PINNs for many
real-world problems. To address this, a Self-scalable tanh (Stan) activation
function is proposed for the PINNs. The proposed Stan function is smooth,
non-saturating, and has a trainable parameter. During training, it can allow
easy flow of gradients to compute the required derivatives and also enable
systematic scaling of the input-output mapping. It is also shown theoretically
that the PINN with the proposed Stan function has no spurious stationary points
when using gradient descent algorithms. The proposed Stan is tested on a couple
of numerical studies involving general regression problems. It is subsequently
used for solving multiple forward problems, which involve second-order
derivatives and multiple dimensions, and an inverse problem where the thermal
diffusivity is predicted through heat conduction in a rod. Our results of these
case studies establish empirically that the Stan activation function can
achieve better training and more accurate predictions than the state-of-the-art
activation functions.
- Abstract(参考訳): 物理インフォームドニューラルネットワーク (PINN) は、気象モデリング、医療、製造などにおける様々な微分方程式の解法として、工学や科学の分野で注目を集めている。
貧弱なスケーラビリティは、現実世界の多くの問題にPINNを利用することの障壁の1つです。
これを解決するために、PINNに対して自己スケーリング可能なタン(Stan)アクティベーション関数を提案する。
提案したStan関数は滑らかで非飽和であり、訓練可能なパラメータを持つ。
トレーニング中、グラデーションのフローが容易になり、必要なデリバティブを計算すると同時に、入出力マッピングの体系的なスケーリングが可能になる。
また, 提案する stan 関数を持つ pinn は勾配降下アルゴリズムを用いた場合のスプリアス定常点を持たないことも理論的に示されている。
提案手法は一般回帰問題を含むいくつかの数値研究で検証された。
その後、二階微分と多次元を含む複数の前方問題の解法や、棒内の熱伝導によって熱拡散率が予測される逆問題に使用される。
これらのケーススタディの結果から,Stanアクティベーション関数は最先端のアクティベーション関数よりも訓練や精度の高い予測が可能であることが実証された。
関連論文リスト
- A Physics-driven GraphSAGE Method for Physical Process Simulations
Described by Partial Differential Equations [2.1217718037013635]
物理駆動型グラフSAGE法は不規則なPDEによって支配される問題を解くために提案される。
距離関連エッジ機能と特徴マッピング戦略は、トレーニングと収束を支援するために考案された。
ガウス特異性ランダム場源によりパラメータ化された熱伝導問題に対するロバストPDEサロゲートモデルの構築に成功した。
論文 参考訳(メタデータ) (2024-03-13T14:25:15Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Reduced-PINN: An Integration-Based Physics-Informed Neural Networks for
Stiff ODEs [0.0]
物理インフォームドニューラルネットワーク(PINN)は、最近、前方および逆問題の両方を解決する能力により、多くの注目を集めている。
そこで我々は, PINN の高次積分法を用いて, 硬質化学動力学を解ける新しい PINN アーキテクチャ, Reduced-PINN を提案する。
論文 参考訳(メタデータ) (2022-08-23T09:20:42Z) - Learning to Solve PDE-constrained Inverse Problems with Graph Networks [51.89325993156204]
科学と工学にまたがる多くの応用分野において、偏微分方程式(PDE)によって定義される制約で逆問題を解決することに興味がある。
ここでは、これらのPDE制約された逆問題を解決するために、GNNを探索する。
GNNを用いて計算速度を最大90倍に向上させる。
論文 参考訳(メタデータ) (2022-06-01T18:48:01Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳(メタデータ) (2022-02-18T18:07:54Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Learning in Sinusoidal Spaces with Physics-Informed Neural Networks [22.47355575565345]
物理インフォームドニューラルネットワーク(PINN)は、物理増強された損失関数を用いて、その出力が基本的な物理法則と一致していることを保証する。
実際に多くの問題に対して正確なPINNモデルをトレーニングすることは困難であることが判明した。
論文 参考訳(メタデータ) (2021-09-20T07:42:41Z) - AdjointNet: Constraining machine learning models with physics-based
codes [0.17205106391379021]
本稿では,物理制約付き機械学習フレームワークであるAdjointNetを提案する。
提案するAdjointNetフレームワークは,パラメータ推定(および拡張による不確実性定量化)と,アクティブラーニングを用いた実験設計に利用できることを示す。
論文 参考訳(メタデータ) (2021-09-08T22:43:44Z) - Characterizing possible failure modes in physics-informed neural
networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文 参考訳(メタデータ) (2021-09-02T16:06:45Z) - Incorporating NODE with Pre-trained Neural Differential Operator for
Learning Dynamics [73.77459272878025]
ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。
NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。
我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
論文 参考訳(メタデータ) (2021-06-08T08:04:47Z) - On the eigenvector bias of Fourier feature networks: From regression to
solving multi-scale PDEs with physics-informed neural networks [0.0]
ニューラルネットワーク(PINN)は、目標関数を近似する場合には、高周波またはマルチスケールの特徴を示す。
マルチスケールなランダムな観測機能を備えた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢で正確なPINNモデルにどのように結びつくかを正当化します。
論文 参考訳(メタデータ) (2020-12-18T04:19:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。