論文の概要: Automatic Differentiation is Essential in Training Neural Networks for Solving Differential Equations

• arxiv url: http://arxiv.org/abs/2405.14099v2
• Date: Sun, 25 Aug 2024 17:35:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 23:27:05.684227
• Title: Automatic Differentiation is Essential in Training Neural Networks for Solving Differential Equations
• Title（参考訳）: 微分方程式を解くニューラルネットワークの学習において、自動微分は不可欠である
• Authors: Chuqi Chen, Yahong Yang, Yang Xiang, Wenrui Hao,
• Abstract要約: 本稿では、ニューラルネットワークのトレーニングにおいて、自動微分(AD)の利点を定量的に示す。 実験および理論的解析により、ADは偏微分方程式の解法において有限差分(FD)より優れていることが示された。
• 参考スコア（独自算出の注目度）: 7.890817997914349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network-based approaches have recently shown significant promise in solving partial differential equations (PDEs) in science and engineering, especially in scenarios featuring complex domains or the incorporation of empirical data. One advantage of the neural network method for PDEs lies in its automatic differentiation (AD), which necessitates only the sample points themselves, unlike traditional finite difference (FD) approximations that require nearby local points to compute derivatives. In this paper, we quantitatively demonstrate the advantage of AD in training neural networks. The concept of truncated entropy is introduced to characterize the training property. Specifically, through comprehensive experimental and theoretical analyses conducted on random feature models and two-layer neural networks, we discover that the defined truncated entropy serves as a reliable metric for quantifying the residual loss of random feature models and the training speed of neural networks for both AD and FD methods. Our experimental and theoretical analyses demonstrate that, from a training perspective, AD outperforms FD in solving partial differential equations.
• Abstract（参考訳）: ニューラルネットワークベースのアプローチは、科学と工学における偏微分方程式(PDE)の解法において、特に複雑なドメインや経験的データの導入を特徴とするシナリオにおいて、非常に有望であることを示している。 PDEのニューラルネットワーク手法の利点の1つは、その自動微分(AD)であり、微分を計算するために近くの局所点を必要とする従来の有限差分(FD)近似とは異なり、標本点自身だけを必要とする。 本稿では、ニューラルネットワークのトレーニングにおけるADの利点を定量的に示す。 トランキャットエントロピーの概念は、トレーニング特性を特徴づけるために導入された。 具体的には、ランダム特徴モデルと2層ニューラルネットワークを用いた総合的な実験および理論的解析により、決定されたトランケートエントロピーが、ランダム特徴モデルの残留損失と、ADおよびFD法のニューラルネットワークのトレーニング速度を定量化するための信頼性の高い指標であることがわかった。 実験および理論的解析により、ADは偏微分方程式の解法においてFDよりも優れていることが示された。

関連論文リスト

• A hybrid FEM-PINN method for time-dependent partial differential equations [9.631238071993282]
  本稿では、時間有限要素法とディープニューラルネットワークを融合させることにより、進化微分方程式(PDE)を解くためのハイブリッド数値計算法を提案する。 このようなハイブリッドな定式化の利点は2つある: 統計誤差は時間方向の積分に対して回避され、ニューラルネットワークの出力は縮小された空間基底関数の集合と見なすことができる。
  論文  参考訳（メタデータ） (2024-09-04T15:28:25Z)
• Diffusion models as probabilistic neural operators for recovering unobserved states of dynamical systems [49.2319247825857]
  拡散に基づく生成モデルは、ニューラル演算子に好適な多くの特性を示す。 本稿では,複数のタスクに適応可能な単一モデルを,トレーニング中のタスク間で交互に学習することを提案する。
  論文  参考訳（メタデータ） (2024-05-11T21:23:55Z)
• Neural Partial Differential Equations with Functional Convolution [30.35306295442881]
  本稿では、隠れた構造を発見し、異なる非線形PDEの解を予測するために、軽量なニューラルPDE表現を提案する。 我々は、数値PDE微分演算子の「翻訳類似性」の先行を利用して、学習モデルとトレーニングデータのスケールを大幅に削減する。
  論文  参考訳（メタデータ） (2023-03-10T04:25:38Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Adversarial Multi-task Learning Enhanced Physics-informed Neural Networks for Solving Partial Differential Equations [9.823102211212582]
  本稿では,多タスク学習手法,不確実性強調損失,勾配手術を学習pdeソリューションの文脈で活用する新しいアプローチを提案する。 実験では,提案手法が有効であることが判明し,従来手法と比較して未発見のデータポイントの誤差を低減できた。
  論文  参考訳（メタデータ） (2021-04-29T13:17:46Z)
• Efficient training of physics-informed neural networks via importance sampling [2.9005223064604078]
  Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。 重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
  論文  参考訳（メタデータ） (2021-04-26T02:45:10Z)
• Hybrid FEM-NN models: Combining artificial neural networks with the finite element method [0.0]
  本稿では, ニューラルネットワークと物理原理制約を組み合わせた偏微分方程式(PDE)の手法を提案する。 このアプローチでは、PDEを損失関数の一部とする最適化の強い制約として尊重しながら、ニューラルネットワークをトレーニングすることができる。 本稿では,ディープニューラルネットワークを用いた複雑な心筋モデル問題の解法を示す。
  論文  参考訳（メタデータ） (2021-01-04T13:36:06Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid Flow Prediction [79.81193813215872]
  我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。 ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
  論文  参考訳（メタデータ） (2020-07-08T21:23:19Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。