論文の概要: Linearization Turns Neural Operators into Function-Valued Gaussian Processes

• arxiv url: http://arxiv.org/abs/2406.05072v1
• Date: Fri, 7 Jun 2024 16:43:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:12:42.527950
• Title: Linearization Turns Neural Operators into Function-Valued Gaussian Processes
• Title（参考訳）: 線形化によるニューラル演算子を関数値ガウス過程に変換する
• Authors: Emilia Magnani, Marvin Pförtner, Tobias Weber, Philipp Hennig,
• Abstract要約: ニューラル作用素におけるベイズの不確かさを近似する新しい枠組みを導入する。 我々の手法は関数型プログラミングからカリー化の概念の確率論的類似体と解釈できる。 我々は、異なるタイプの偏微分方程式への応用を通して、我々のアプローチの有効性を示す。
• 参考スコア（独自算出の注目度）: 23.85470417458593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling dynamical systems, e.g. in climate and engineering sciences, often necessitates solving partial differential equations. Neural operators are deep neural networks designed to learn nontrivial solution operators of such differential equations from data. As for all statistical models, the predictions of these models are imperfect and exhibit errors. Such errors are particularly difficult to spot in the complex nonlinear behaviour of dynamical systems. We introduce a new framework for approximate Bayesian uncertainty quantification in neural operators using function-valued Gaussian processes. Our approach can be interpreted as a probabilistic analogue of the concept of currying from functional programming and provides a practical yet theoretically sound way to apply the linearized Laplace approximation to neural operators. In a case study on Fourier neural operators, we show that, even for a discretized input, our method yields a Gaussian closure--a structured Gaussian process posterior capturing the uncertainty in the output function of the neural operator, which can be evaluated at an arbitrary set of points. The method adds minimal prediction overhead, can be applied post-hoc without retraining the neural operator, and scales to large models and datasets. We showcase the efficacy of our approach through applications to different types of partial differential equations.
• Abstract（参考訳）: 気候や工学などの力学系のモデリングは、しばしば偏微分方程式の解法を必要とする。 ニューラルネットワークは、データから微分方程式の非自明な解演算子を学習するために設計されたディープニューラルネットワークである。 全ての統計モデルについて、これらのモデルの予測は不完全であり、誤りを示す。 このような誤差は、力学系の複雑な非線形挙動に特に見つからない。 本稿では,関数値ガウス過程を用いたニューラル演算子におけるベイズの不確かさの近似的定量化のための新しい枠組みを提案する。 提案手法は関数型プログラミングのカリー化の概念の確率論的類似として解釈することができ,線形化されたラプラス近似をニューラルネットワークに適用するための実用的かつ理論的に健全な方法を提供する。 フーリエ・ニューラル作用素のケーススタディでは, 離散化された入力であっても, 任意の点の集合で評価可能な, ニューラル演算子の出力関数の不確かさを後押しする構造的ガウス過程がガウス閉包を生じることを示す。 この方法は、最小限の予測オーバーヘッドを追加し、ニューラル演算子を再トレーニングすることなくポストホックに適用し、大規模なモデルやデータセットにスケールする。 我々は、異なるタイプの偏微分方程式への応用を通して、我々のアプローチの有効性を示す。

関連論文リスト

• Probabilistic neural operators for functional uncertainty quantification [14.08907045605149]
  本稿では,ニューラル演算子の出力関数空間上の確率分布を学習するフレームワークである確率論的ニューラル演算子(PNO)を紹介する。 PNOは、厳密な適切なスコアリングルールに基づく生成モデリングにより、ニューラル演算子を拡張し、不確実性情報をトレーニングプロセスに直接統合する。
  論文  参考訳（メタデータ） (2025-02-18T14:42:11Z)
• Neural Operators for Predictor Feedback Control of Nonlinear Delay Systems [3.0248879829045388]
  本稿では,予測器の定式化を演算子学習問題として再キャストすることで,予測器設計の新しい視点を導入する。 我々は、予測演算子の任意の精度のニューラル演算子近似の存在を証明した。 近似予測器の下では閉ループ非線形系の半言語的実用安定性を実現する。
  論文  参考訳（メタデータ） (2024-11-28T07:30:26Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Convolutional Neural Operators for robust and accurate learning of PDEs [11.562748612983956]
  本稿では、入力や出力として関数を処理する畳み込みニューラルネットワークの新しい適応法を提案する。 結果として生じるアーキテクチャは、畳み込みニューラル演算子(CNO)と呼ばれる。 普遍性定理を証明し、CNOが PDE で生じる作用素を所望の精度で近似できることを示す。
  論文  参考訳（メタデータ） (2023-02-02T15:54:45Z)
• Reliable extrapolation of deep neural operators informed by physics or sparse observations [2.887258133992338]
  ディープニューラルネットワークは、ディープニューラルネットワークを介して無限次元関数空間間の非線形マッピングを学習することができる。 DeepONetsは科学と工学の新しいシミュレーションパラダイムを提供する。 本稿では,外挿下での安全な予測を保証する5つの信頼性学習手法を提案する。
  論文  参考訳（メタデータ） (2022-12-13T03:02:46Z)
• Approximate Bayesian Neural Operators: Uncertainty Quantification for Parametric PDEs [34.179984253109346]
  ニューラル作用素の'hallow'(線形)バージョンを数学的に詳細に定式化する。 次に、ベイズ深層学習の近似手法を用いて、この解析処理を一般のディープニューラル演算子に拡張する。 その結果, ニューラル演算子の予測に失敗するケースを同定し, 構造的不確実性推定を行うことができた。
  論文  参考訳（メタデータ） (2022-08-02T16:10:27Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。