論文の概要: Hutchinson Trace Estimation for High-Dimensional and High-Order
Physics-Informed Neural Networks
- arxiv url: http://arxiv.org/abs/2312.14499v1
- Date: Fri, 22 Dec 2023 07:56:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 15:54:52.332858
- Title: Hutchinson Trace Estimation for High-Dimensional and High-Order
Physics-Informed Neural Networks
- Title（参考訳）: 高速・高次物理インフォームドニューラルネットワークのハッチンソントレース推定
- Authors: Zheyuan Hu, Zekun Shi, George Em Karniadakis, Kenji Kawaguchi
- Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)を解くのに有効であることが証明された
我々は,Hutchinson Trace Estimation (HTE)を導入し,高次元・高次PDE処理におけるPINNの限界に対処する。
HTEはヘッセン行列全体の計算をヘッセンベクトル積(HVP)に変換する
- 参考スコア（独自算出の注目度）: 27.164040990410065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Physics-Informed Neural Networks (PINNs) have proven effective in solving
partial differential equations (PDEs), especially when some data are available
by blending seamlessly data and physics. However, extending PINNs to
high-dimensional and even high-order PDEs encounters significant challenges due
to the computational cost associated with automatic differentiation in the
residual loss. Herein, we address the limitations of PINNs in handling
high-dimensional and high-order PDEs by introducing Hutchinson Trace Estimation
(HTE). Starting with the second-order high-dimensional PDEs ubiquitous in
scientific computing, HTE transforms the calculation of the entire Hessian
matrix into a Hessian vector product (HVP). This approach alleviates the
computational bottleneck via Taylor-mode automatic differentiation and
significantly reduces memory consumption from the Hessian matrix to HVP. We
further showcase HTE's convergence to the original PINN loss and its unbiased
behavior under specific conditions. Comparisons with Stochastic Dimension
Gradient Descent (SDGD) highlight the distinct advantages of HTE, particularly
in scenarios with significant variance among dimensions. We further extend HTE
to higher-order and higher-dimensional PDEs, specifically addressing the
biharmonic equation. By employing tensor-vector products (TVP), HTE efficiently
computes the colossal tensor associated with the fourth-order high-dimensional
biharmonic equation, saving memory and enabling rapid computation. The
effectiveness of HTE is illustrated through experimental setups, demonstrating
comparable convergence rates with SDGD under memory and speed constraints.
Additionally, HTE proves valuable in accelerating the Gradient-Enhanced PINN
(gPINN) version as well as the Biharmonic equation. Overall, HTE opens up a new
capability in scientific machine learning for tackling high-order and
high-dimensional PDEs.
- Abstract（参考訳）: 物理学に変形したニューラルネットワーク(pinns)は偏微分方程式(pdes)の解法として有効であることが証明されている。
しかし, PINNを高次元かつ高次元のPDEに拡張することは, 残留損失の自動微分に伴う計算コストが大きな課題となる。
本稿では,Hutchinson Trace Estimation (HTE)を導入し,高次元・高次PDE処理におけるPINNの限界に対処する。
科学計算においてユビキタスな2階高次元PDEから始め、HTEはヘッセン行列全体の計算をヘッセンベクトル積(HVP)に変換する。
このアプローチはテイラーモードの自動微分による計算ボトルネックを緩和し、ヘッセン行列からHVPへのメモリ消費を大幅に削減する。
我々はさらに,hteのオリジナルのピン損失への収束と,その偏りのない挙動を特定の条件下で示す。
Stochastic Dimension Gradient Descent (SDGD)との比較は、特に次元間で大きな差異があるシナリオにおいて、HTEの明確な利点を強調している。
さらにHTEを高次および高次元PDEに拡張し、特にバイハーモニック方程式に対処する。
テンソルベクトル積(TVP)を用いることで、HTEは、4階高次元バイハーモニック方程式に関連する余剰テンソルを効率的に計算し、メモリを節約し、高速な計算を可能にする。
HTEの有効性は実験的な設定を通じて説明され、メモリと速度制約の下でSDGDと同等の収束率を示す。
さらに、HTEは、グラディエント強化PINN(gPINN)バージョンとバイハーモニック方程式の加速に有用である。
全体として、HTEは高次および高次元PDEに対処する科学的機械学習の新たな能力を開く。
関連論文リスト
- Separable DeepONet: Breaking the Curse of Dimensionality in Physics-Informed Machine Learning [0.0]
ラベル付きデータセットがない場合、PDE残留損失を利用して物理系を学習する。
この手法は、主に次元の呪いによる重要な計算課題に直面するが、計算コストは、より詳細な離散化とともに指数関数的に増加する。
本稿では,これらの課題に対処し,高次元PDEのスケーラビリティを向上させるために,分離可能なDeepONetフレームワークを紹介する。
論文 参考訳（メタデータ） (2024-07-21T16:33:56Z) - Bias-Variance Trade-off in Physics-Informed Neural Networks with
Randomized Smoothing for High-Dimensional PDEs [29.38656057181734]
物理インフォームドニューラルネットワーク(PINN)は低次元偏微分方程式(PDE)に有効であることが証明されている。
RS-PINNにおけるバイアスの包括的解析は,平均二乗誤差(MSE)損失とPDE非線形性の非線形性に起因する。
PDE非線形性の順序に基づく補正バイアス補正手法を提案する。
論文 参考訳（メタデータ） (2023-11-26T12:50:28Z) - Tackling the Curse of Dimensionality with Physics-Informed Neural Networks [24.86574584293979]
我々は、任意の高次元PDEを解決するために、物理インフォームドニューラルネットワーク(PINN)をスケールアップする新しい方法を開発した。
本研究では,提案手法が多くの高次元PDEを解くことができることを示す。
論文 参考訳（メタデータ） (2023-07-23T12:18:12Z) - SHoP: A Deep Learning Framework for Solving High-order Partial
Differential Equations [30.26398911800582]
我々はSHoPという高次PDEを解くためのディープラーニングフレームワークを提案する。
ニューラルネットワークの高次微分法則を導出し,その導出を迅速かつ正確に行う。
ネットワークをテイラー級数に拡張し、PDEに対して明確な解決策を提供する。
論文 参考訳（メタデータ） (2023-05-17T08:19:57Z) - Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳（メタデータ） (2023-01-30T04:58:40Z) - LordNet: An Efficient Neural Network for Learning to Solve Parametric Partial Differential Equations without Simulated Data [47.49194807524502]
エンタングルメントをモデル化するためのチューナブルで効率的なニューラルネットワークであるLordNetを提案する。
ポアソン方程式と(2Dおよび3D)ナビエ・ストークス方程式を解く実験は、長距離の絡み合いがロードネットによってうまくモデル化できることを示した。
論文 参考訳（メタデータ） (2022-06-19T14:41:08Z) - Auto-PINN: Understanding and Optimizing Physics-Informed Neural
Architecture [77.59766598165551]
物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。
本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。
標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
論文 参考訳（メタデータ） (2022-05-27T03:24:31Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳（メタデータ） (2022-02-18T18:07:54Z) - Lie Point Symmetry Data Augmentation for Neural PDE Solvers [69.72427135610106]
本稿では,ニューラルPDEソルバサンプルの複雑性を改善することにより,この問題を部分的に緩和する手法を提案する。
PDEの文脈では、データ変換の完全なリストを定量的に導き出せることが分かりました。
神経性PDEソルバサンプルの複雑さを桁違いに改善するために、どのように容易に展開できるかを示す。
論文 参考訳（メタデータ） (2022-02-15T18:43:17Z) - PhyCRNet: Physics-informed Convolutional-Recurrent Network for Solving
Spatiotemporal PDEs [8.220908558735884]
偏微分方程式 (Partial differential equation, PDE) は、幅広い分野の問題をモデル化し、シミュレーションする上で基礎的な役割を果たす。
近年のディープラーニングの進歩は、データ駆動逆解析の基盤としてPDEを解くために物理学インフォームドニューラルネットワーク(NN)の大きな可能性を示している。
本稿では,PDEをラベル付きデータなしで解くための物理インフォームド・畳み込み学習アーキテクチャ(PhyCRNetとPhCRyNet-s)を提案する。
論文 参考訳（メタデータ） (2021-06-26T22:22:19Z) - Augmented Sliced Wasserstein Distances [55.028065567756066]
拡張スライスされたワッサーシュタイン距離(ASWD)と呼ばれる新しい距離測定法を提案する。
ASWDは、ニューラルネットワークによってパラメータ化された高次元超曲面への最初のマッピングサンプルによって構成される。
数値的な結果から、ASWDは、合成問題と実世界の問題の両方において、他のワッサーシュタイン変種を著しく上回っていることが示されている。
論文 参考訳（メタデータ） (2020-06-15T23:00:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。