論文の概要: Solving High Frequency and Multi-Scale PDEs with Gaussian Processes
- arxiv url: http://arxiv.org/abs/2311.04465v1
- Date: Wed, 8 Nov 2023 05:26:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 17:05:20.343931
- Title: Solving High Frequency and Multi-Scale PDEs with Gaussian Processes
- Title(参考訳): ガウス過程を用いた高周波・マルチスケールPDEの解法
- Authors: Shikai Fang, Madison Cooley, Da Long, Shibo Li, Robert Kirby, Shandian
Zhe
- Abstract要約: PINNは、しばしば高周波およびマルチスケールのPDEを解決するのに苦労する。
我々はPDE溶液のパワースペクトルを学生t混合またはガウス混合でモデル化する。
我々はPDE解決の合理性と有効性を発見した最初の人物である。
- 参考スコア(独自算出の注目度): 19.102390102861566
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning based solvers have garnered much attention in physical
simulation and scientific computing, with a prominent example, physics-informed
neural networks (PINNs). However, PINNs often struggle to solve high-frequency
and multi-scale PDEs, which can be due to spectral bias during neural network
training. To address this problem, we resort to the Gaussian process (GP)
framework. To flexibly capture the dominant frequencies, we model the power
spectrum of the PDE solution with a student t mixture or Gaussian mixture. We
then apply the inverse Fourier transform to obtain the covariance function
(according to the Wiener-Khinchin theorem). The covariance derived from the
Gaussian mixture spectrum corresponds to the known spectral mixture kernel. We
are the first to discover its rationale and effectiveness for PDE solving.
Next,we estimate the mixture weights in the log domain, which we show is
equivalent to placing a Jeffreys prior. It automatically induces sparsity,
prunes excessive frequencies, and adjusts the remaining toward the ground
truth. Third, to enable efficient and scalable computation on massive
collocation points, which are critical to capture high frequencies, we place
the collocation points on a grid, and multiply our covariance function at each
input dimension. We use the GP conditional mean to predict the solution and its
derivatives so as to fit the boundary condition and the equation itself. As a
result, we can derive a Kronecker product structure in the covariance matrix.
We use Kronecker product properties and multilinear algebra to greatly promote
computational efficiency and scalability, without any low-rank approximations.
We show the advantage of our method in systematic experiments.
- Abstract(参考訳): 機械学習に基づく解法は、物理シミュレーションと科学計算に大きな注目を集めており、特に物理情報ニューラルネットワーク(PINN)が顕著である。
しかしながら、PINNは、ニューラルネットワークトレーニング中のスペクトルバイアスに起因する、高周波およびマルチスケールPDEの解決に苦慮することが多い。
この問題に対処するため、我々はガウス過程(GP)フレームワークを利用する。
支配周波数を柔軟に捉えるために,pde溶液のパワースペクトルを学生t混合またはガウス混合でモデル化する。
次に、逆フーリエ変換を適用して共分散関数を得る(ウィナー・ヒンチンの定理による)。
ガウス混合スペクトルに由来する共分散は、既知のスペクトル混合核に対応する。
我々はPDE解決の合理性と有効性を発見した最初の人物である。
次に、ログ領域の混合重みを推定し、ジェフリーを事前に配置するのと等価であることを示す。
空間性を自動的に誘導し、過度な周波数を誘発し、残りを地平線に向けて調整する。
第3に,大量のコロケーション点に対して効率的かつスケーラブルな計算を実現するため,コロケーション点をグリッド上に配置し,各入力次元に共分散関数を乗算する。
gp条件付き平均を用いて解とその微分を予測し、境界条件と方程式自体に適合させる。
その結果、共分散行列におけるクロネッカー積構造を導出することができる。
我々は, クロネッカー積の性質と多線型代数を用いて, 低ランク近似を必要とせず, 計算効率と拡張性を大幅に促進する。
系統実験において,本手法の利点を示す。
関連論文リスト
- Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳(メタデータ) (2023-02-14T23:50:53Z) - Compressive Fourier collocation methods for high-dimensional diffusion
equations with periodic boundary conditions [7.80387197350208]
高次元偏微分方程式(英: High-dimensional partial Differential Equations, PDE)は、ファイナンスから計算化学まで多岐にわたる数学モデリングツールである。
これらのPDEを解くための標準的な数値技術は、典型的には次元の呪いの影響を受けている。
高次元におけるスパース関数近似の最近の進歩に触発されて、圧縮フーリエコロケーションと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2022-06-02T19:11:27Z) - Transformer with Fourier Integral Attentions [18.031977028559282]
本稿では,ドット積カーネルを一般化されたフーリエ積分カーネルに置き換えた新しい変圧器のクラスを提案する。
FourierFormersは従来のドット生成型変換器と比較して精度が向上し、注目ヘッド間の冗長性が低減された。
本稿では,FourierFormersのベースライントランスフォーマーに対する利点を,言語モデリングや画像分類など,様々な実践的応用において実証的に相関付けする。
論文 参考訳(メタデータ) (2022-06-01T03:06:21Z) - AutoIP: A United Framework to Integrate Physics into Gaussian Processes [15.108333340471034]
あらゆる微分方程式をガウス過程に統合できる枠組みを提案する。
本手法は,シミュレーションと実世界の応用の両方において,バニラGPの改善を示す。
論文 参考訳(メタデータ) (2022-02-24T19:02:14Z) - An application of the splitting-up method for the computation of a
neural network representation for the solution for the filtering equations [68.8204255655161]
フィルタ方程式は、数値天気予報、金融、工学など、多くの現実の応用において中心的な役割を果たす。
フィルタリング方程式の解を近似する古典的なアプローチの1つは、分割法と呼ばれるPDEにインスパイアされた方法を使うことである。
我々はこの手法をニューラルネットワーク表現と組み合わせて、信号プロセスの非正規化条件分布の近似を生成する。
論文 参考訳(メタデータ) (2022-01-10T11:01:36Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Sparse Gaussian Processes with Spherical Harmonic Features [14.72311048788194]
領域間変分ガウス過程(GP)の新たなクラスを導入する。
我々の推論スキームは変分フーリエの特徴に匹敵するが、次元の呪いに苦しむことはない。
実験の結果,本モデルでは,600万項目のデータセットに対して,2桁の精度で回帰モデルを適合させることができることがわかった。
論文 参考訳(メタデータ) (2020-06-30T10:19:32Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。