論文の概要: Linearization Turns Neural Operators into Function-Valued Gaussian Processes

• arxiv url: http://arxiv.org/abs/2406.05072v1
• Date: Fri, 7 Jun 2024 16:43:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:12:42.527950
• Title: Linearization Turns Neural Operators into Function-Valued Gaussian Processes
• Title（参考訳）: 線形化によるニューラル演算子を関数値ガウス過程に変換する
• Authors: Emilia Magnani, Marvin Pförtner, Tobias Weber, Philipp Hennig,
• Abstract要約: ニューラル作用素におけるベイズの不確かさを近似する新しい枠組みを導入する。 我々の手法は関数型プログラミングからカリー化の概念の確率論的類似体と解釈できる。 我々は、異なるタイプの偏微分方程式への応用を通して、我々のアプローチの有効性を示す。
• 参考スコア（独自算出の注目度）: 23.85470417458593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling dynamical systems, e.g. in climate and engineering sciences, often necessitates solving partial differential equations. Neural operators are deep neural networks designed to learn nontrivial solution operators of such differential equations from data. As for all statistical models, the predictions of these models are imperfect and exhibit errors. Such errors are particularly difficult to spot in the complex nonlinear behaviour of dynamical systems. We introduce a new framework for approximate Bayesian uncertainty quantification in neural operators using function-valued Gaussian processes. Our approach can be interpreted as a probabilistic analogue of the concept of currying from functional programming and provides a practical yet theoretically sound way to apply the linearized Laplace approximation to neural operators. In a case study on Fourier neural operators, we show that, even for a discretized input, our method yields a Gaussian closure--a structured Gaussian process posterior capturing the uncertainty in the output function of the neural operator, which can be evaluated at an arbitrary set of points. The method adds minimal prediction overhead, can be applied post-hoc without retraining the neural operator, and scales to large models and datasets. We showcase the efficacy of our approach through applications to different types of partial differential equations.
• Abstract（参考訳）: 気候や工学などの力学系のモデリングは、しばしば偏微分方程式の解法を必要とする。 ニューラルネットワークは、データから微分方程式の非自明な解演算子を学習するために設計されたディープニューラルネットワークである。 全ての統計モデルについて、これらのモデルの予測は不完全であり、誤りを示す。 このような誤差は、力学系の複雑な非線形挙動に特に見つからない。 本稿では,関数値ガウス過程を用いたニューラル演算子におけるベイズの不確かさの近似的定量化のための新しい枠組みを提案する。 提案手法は関数型プログラミングのカリー化の概念の確率論的類似として解釈することができ,線形化されたラプラス近似をニューラルネットワークに適用するための実用的かつ理論的に健全な方法を提供する。 フーリエ・ニューラル作用素のケーススタディでは, 離散化された入力であっても, 任意の点の集合で評価可能な, ニューラル演算子の出力関数の不確かさを後押しする構造的ガウス過程がガウス閉包を生じることを示す。 この方法は、最小限の予測オーバーヘッドを追加し、ニューラル演算子を再トレーニングすることなくポストホックに適用し、大規模なモデルやデータセットにスケールする。 我々は、異なるタイプの偏微分方程式への応用を通して、我々のアプローチの有効性を示す。

関連論文リスト

• Towards Gaussian Process for operator learning: an uncertainty aware resolution independent operator learning algorithm for computational mechanics [8.528817025440746]
  本稿では、パラメトリック微分方程式を解くための新しいガウス過程(GP)に基づくニューラル演算子を提案する。 ニューラル演算子を用いて学習した潜在空間でGPカーネルを定式化するニューラル演算子埋め込みカーネル'を提案する。 本研究は, 不確実性評価におけるロバスト性を維持しつつ, 複雑なPDEを解く上で, この枠組みの有効性を強調した。
  論文  参考訳（メタデータ） (2024-09-17T08:12:38Z)
• Diffusion models as probabilistic neural operators for recovering unobserved states of dynamical systems [49.2319247825857]
  拡散に基づく生成モデルは、ニューラル演算子に好適な多くの特性を示す。 本稿では,複数のタスクに適応可能な単一モデルを,トレーニング中のタスク間で交互に学習することを提案する。
  論文  参考訳（メタデータ） (2024-05-11T21:23:55Z)
• Neural Operator induced Gaussian Process framework for probabilistic solution of parametric partial differential equations [8.528817025440746]
  偏微分方程式に対するニューラル演算子誘起ガウス過程(NOGaP)を提案する。 提案手法により予測精度が向上し,不確実性の定量化が可能となった。 その結果,NOGaPの可能性が示唆された。
  論文  参考訳（メタデータ） (2024-04-24T03:16:48Z)
• Operator Learning: Algorithms and Analysis [8.305111048568737]
  オペレータ学習(Operator learning)は、機械学習から、関数のバナッハ空間間の近似演算子へのアイデアの適用を指す。 このレビューは、有限次元ユークリッド空間上で定義される関数の近似におけるディープニューラルネットワークの成功に基づいて構築されたニューラル演算子に焦点を当てる。
  論文  参考訳（メタデータ） (2024-02-24T04:40:27Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Hyena Neural Operator for Partial Differential Equations [9.438207505148947]
  ディープラーニングの最近の進歩は、ニューラル演算子の使用を含む偏微分方程式を解くための新しいアプローチをもたらした。 この研究は、多層パーセプトロンによってパラメータ化される長い畳み込みフィルタを使用するHyenaと呼ばれるニューラル演算子を利用する。 この結果から,ハイエナは偏微分方程式解演算器の効率的かつ高精度なモデルとして機能することが示唆された。
  論文  参考訳（メタデータ） (2023-06-28T19:45:45Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Approximate Bayesian Neural Operators: Uncertainty Quantification for Parametric PDEs [34.179984253109346]
  ニューラル作用素の'hallow'(線形)バージョンを数学的に詳細に定式化する。 次に、ベイズ深層学習の近似手法を用いて、この解析処理を一般のディープニューラル演算子に拡張する。 その結果, ニューラル演算子の予測に失敗するケースを同定し, 構造的不確実性推定を行うことができた。
  論文  参考訳（メタデータ） (2022-08-02T16:10:27Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。