Fugu-MT 論文翻訳(概要): Self-scalable Tanh (Stan): Faster Convergence and Better Generalization in Physics-informed Neural Networks

論文の概要: Self-scalable Tanh (Stan): Faster Convergence and Better Generalization in Physics-informed Neural Networks

arxiv url: http://arxiv.org/abs/2204.12589v1
Date: Tue, 26 Apr 2022 20:56:49 GMT
ステータス: 処理完了
システム内更新日: 2022-04-29 00:41:13.719077
Title: Self-scalable Tanh (Stan): Faster Convergence and Better Generalization in Physics-informed Neural Networks
Title（参考訳）: 自己スケーブル・タン(stan) : 物理形ニューラルネットワークにおけるより高速な収束とより良い一般化
Authors: Raghav Gnanasambandam, Bo Shen, Jihoon Chung, Xubo Yue, and Zhenyu (James) Kong
Abstract要約: 貧弱なスケーラビリティは、現実世界の多くの問題にPINNを利用することの障壁の1つです。 PINNに対して自己スケーリング可能なタン(Stan)活性化関数を提案する。提案したStan関数は滑らかで非飽和であり、訓練可能なパラメータを持つ。
参考スコア（独自算出の注目度）: 4.761526125774749
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Physics-informed Neural Networks (PINNs) are gaining attention in the engineering and scientific literature for solving a range of differential equations with applications in weather modeling, healthcare, manufacturing, and so on. Poor scalability is one of the barriers to utilizing PINNs for many real-world problems. To address this, a Self-scalable tanh (Stan) activation function is proposed for the PINNs. The proposed Stan function is smooth, non-saturating, and has a trainable parameter. During training, it can allow easy flow of gradients to compute the required derivatives and also enable systematic scaling of the input-output mapping. It is also shown theoretically that the PINN with the proposed Stan function has no spurious stationary points when using gradient descent algorithms. The proposed Stan is tested on a couple of numerical studies involving general regression problems. It is subsequently used for solving multiple forward problems, which involve second-order derivatives and multiple dimensions, and an inverse problem where the thermal diffusivity is predicted through heat conduction in a rod. Our results of these case studies establish empirically that the Stan activation function can achieve better training and more accurate predictions than the state-of-the-art activation functions.
Abstract（参考訳）: 物理インフォームドニューラルネットワーク (PINN) は、気象モデリング、医療、製造などにおける様々な微分方程式の解法として、工学や科学の分野で注目を集めている。貧弱なスケーラビリティは、現実世界の多くの問題にPINNを利用することの障壁の1つです。これを解決するために、PINNに対して自己スケーリング可能なタン(Stan)アクティベーション関数を提案する。提案したStan関数は滑らかで非飽和であり、訓練可能なパラメータを持つ。トレーニング中、グラデーションのフローが容易になり、必要なデリバティブを計算すると同時に、入出力マッピングの体系的なスケーリングが可能になる。また, 提案する stan 関数を持つ pinn は勾配降下アルゴリズムを用いた場合のスプリアス定常点を持たないことも理論的に示されている。提案手法は一般回帰問題を含むいくつかの数値研究で検証された。その後、二階微分と多次元を含む複数の前方問題の解法や、棒内の熱伝導によって熱拡散率が予測される逆問題に使用される。これらのケーススタディの結果から,Stanアクティベーション関数は最先端のアクティベーション関数よりも訓練や精度の高い予測が可能であることが実証された。

関連論文リスト

Physics-informed neural networks need a physicist to be accurate: the case of mass and heat transport in Fischer-Tropsch catalyst particles [0.3926357402982764]
物理インフォームドニューラルネットワーク(PINN)は、機械学習の迅速かつ自動化された能力と、理論物理学に根ざしたシミュレーションの精度と信頼性を融合して、影響力のある技術として登場した。しかし、PINNの広範な採用は信頼性の問題、特に入力パラメータ範囲の極端ではまだ妨げられている。ドメイン知識に基づくPINNアーキテクチャの変更を提案する。
論文参考訳（メタデータ） (2024-11-15T08:55:31Z)
DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
論文参考訳（メタデータ） (2024-10-08T10:48:50Z)
Characteristic Performance Study on Solving Oscillator ODEs via Soft-constrained Physics-informed Neural Network with Small Data [6.3295494018089435]
本稿では,物理インフォームドニューラルネットワーク(PINN),従来のニューラルネットワーク(NN),および微分方程式(DE)に関する従来の数値離散化法を比較した。我々は,ソフト制約のPINNアプローチに注目し,その数学的枠組みと計算フローを正規Dsと部分Dsの解法として定式化した。我々は、PINNのDeepXDEベースの実装が、トレーニングにおいて軽量コードであり、効率的なだけでなく、CPU/GPUプラットフォーム間で柔軟なことを実証した。
論文参考訳（メタデータ） (2024-08-19T13:02:06Z)
DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
論文参考訳（メタデータ） (2024-06-14T07:45:07Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Reduced-PINN: An Integration-Based Physics-Informed Neural Networks for Stiff ODEs [0.0]
物理インフォームドニューラルネットワーク(PINN)は、最近、前方および逆問題の両方を解決する能力により、多くの注目を集めている。そこで我々は, PINN の高次積分法を用いて, 硬質化学動力学を解ける新しい PINN アーキテクチャ, Reduced-PINN を提案する。
論文参考訳（メタデータ） (2022-08-23T09:20:42Z)
Learning to Solve PDE-constrained Inverse Problems with Graph Networks [51.89325993156204]
科学と工学にまたがる多くの応用分野において、偏微分方程式(PDE)によって定義される制約で逆問題を解決することに興味がある。ここでは、これらのPDE制約された逆問題を解決するために、GNNを探索する。 GNNを用いて計算速度を最大90倍に向上させる。
論文参考訳（メタデータ） (2022-06-01T18:48:01Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Learning in Sinusoidal Spaces with Physics-Informed Neural Networks [22.47355575565345]
物理インフォームドニューラルネットワーク(PINN)は、物理増強された損失関数を用いて、その出力が基本的な物理法則と一致していることを保証する。実際に多くの問題に対して正確なPINNモデルをトレーニングすることは困難であることが判明した。
論文参考訳（メタデータ） (2021-09-20T07:42:41Z)
AdjointNet: Constraining machine learning models with physics-based codes [0.17205106391379021]
本稿では,物理制約付き機械学習フレームワークであるAdjointNetを提案する。提案するAdjointNetフレームワークは,パラメータ推定(および拡張による不確実性定量化)と,アクティブラーニングを用いた実験設計に利用できることを示す。
論文参考訳（メタデータ） (2021-09-08T22:43:44Z)
Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文参考訳（メタデータ） (2021-09-02T16:06:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。