論文の概要: TENG: Time-Evolving Natural Gradient for Solving PDEs With Deep Neural Nets Toward Machine Precision

• arxiv url: http://arxiv.org/abs/2404.10771v2
• Date: Tue, 4 Jun 2024 03:11:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 11:37:14.984836
• Title: TENG: Time-Evolving Natural Gradient for Solving PDEs With Deep Neural Nets Toward Machine Precision
• Title（参考訳）: TENG: マシンの精度向上に向けた深部ニューラルネットワークによるPDEの解法
• Authors: Zhuo Chen, Jacob McCarran, Esteban Vizcaino, Marin Soljačić, Di Luo,
• Abstract要約: 偏微分方程式 (Partial differential equation, PDE) は、科学と工学における力学系をモデル化するための道具である。 本稿では、時間依存の変動原理と最適化に基づく時間統合を一般化した、$textitTime-Evolving Natural Gradient (TENG)$を紹介する。 私たちの包括的開発には、TENG-Eulerのようなアルゴリズムと、TENG-Heunのような高階の亜種が含まれています。
• 参考スコア（独自算出の注目度）: 5.283885355422517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Partial differential equations (PDEs) are instrumental for modeling dynamical systems in science and engineering. The advent of neural networks has initiated a significant shift in tackling these complexities though challenges in accuracy persist, especially for initial value problems. In this paper, we introduce the $\textit{Time-Evolving Natural Gradient (TENG)}$, generalizing time-dependent variational principles and optimization-based time integration, leveraging natural gradient optimization to obtain high accuracy in neural-network-based PDE solutions. Our comprehensive development includes algorithms like TENG-Euler and its high-order variants, such as TENG-Heun, tailored for enhanced precision and efficiency. TENG's effectiveness is further validated through its performance, surpassing current leading methods and achieving $\textit{machine precision}$ in step-by-step optimizations across a spectrum of PDEs, including the heat equation, Allen-Cahn equation, and Burgers' equation.
• Abstract（参考訳）: 偏微分方程式 (Partial differential equation, PDE) は、科学や工学における力学系をモデル化するための道具である。 ニューラルネットワークの出現は、特に初期値問題において、精度の課題は持続するが、これらの複雑さに取り組むための大きな変化を引き起こしている。 本稿では、時間依存の変動原理と最適化に基づく時間積分を一般化し、自然勾配最適化を活用し、ニューラルネットワークベースのPDEソリューションで高い精度を得るための$\textit{Time-Evolving Natural Gradient (TENG)$を紹介する。 私たちの包括的開発には、TENG-Eulerのようなアルゴリズムと、TENG-Heunのような高階の亜種が含まれています。 TENGの有効性は、現在の先行法を超え、熱方程式、アレン・カーン方程式、バーガースの方程式を含むPDEのスペクトルをステップバイステップで最適化する$\textit{machine precision}$を達成することでさらに検証される。

関連論文リスト

• TSONN: Time-stepping-oriented neural network for solving partial differential equations [1.9061608251056779]
  この研究は、PDE問題を解決するために、タイムステッピング法とディープラーニングを統合する。 擬似タイムステッピング過程の軌跡に従うことにより、モデルトレーニングの収束性を大幅に改善する。 提案手法は,標準のPINNでは解けない多くの問題において,安定したトレーニングと正しい結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-25T09:19:40Z)
• Deep Learning-based surrogate models for parametrized PDEs: handling geometric variability through graph neural networks [0.0]
  本研究では,時間依存型PDEシミュレーションにおけるグラフニューラルネットワーク(GNN)の可能性について検討する。 本稿では,データ駆動型タイムステッピング方式に基づくサロゲートモデルを構築するための体系的戦略を提案する。 GNNは,計算効率と新たなシナリオへの一般化の観点から,従来の代理モデルに代わる有効な代替手段を提供することができることを示す。
  論文  参考訳（メタデータ） (2023-08-03T08:14:28Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• PIXEL: Physics-Informed Cell Representations for Fast and Accurate PDE Solvers [4.1173475271436155]
  物理インフォームドセル表現(PIXEL)と呼ばれる新しいデータ駆動型PDEの解法を提案する。 PIXELは古典的な数値法と学習に基づくアプローチをエレガントに組み合わせている。 PIXELは高速収束速度と高精度を実現する。
  論文  参考訳（メタデータ） (2022-07-26T10:46:56Z)
• Learning to Accelerate Partial Differential Equations via Latent Global Evolution [64.72624347511498]
  The Latent Evolution of PDEs (LE-PDE) is a simple, fast and scalable method to accelerate the simulation and inverse optimization of PDEs。 我々は,このような潜在力学を効果的に学習し,長期的安定性を確保するために,新たな学習目標を導入する。 更新対象の寸法が最大128倍、速度が最大15倍向上し、競争精度が向上した。
  論文  参考訳（メタデータ） (2022-06-15T17:31:24Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Long-time integration of parametric evolution equations with physics-informed DeepONets [0.0]
  ランダムな初期条件を関連するPDE解に短時間でマッピングする無限次元演算子を学習するための効果的なフレームワークを提案する。 その後、訓練されたモデルを反復的に評価することにより、一連の初期条件にわたるグローバルな長期予測が得られる。 これは時間領域分解に対する新しいアプローチを導入し、正確な長期シミュレーションを実行するのに有効であることを示した。
  論文  参考訳（メタデータ） (2021-06-09T20:46:17Z)
• Speeding up Computational Morphogenesis with Online Neural Synthetic Gradients [51.42959998304931]
  現代科学および工学の適用の広い範囲は制約として部分的な微分方程式(PDEs)のシステムとの最適化問題として定式化されます。 これらのPDE制約最適化問題は通常、標準のDisretize-then-optimizeアプローチで解決される。 オンラインニューラル合成勾配(ONSG)を用いたPDE制約最適化の高速化のための新しい2スケール最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-25T22:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。