論文の概要: Linearization Turns Neural Operators into Function-Valued Gaussian Processes

• arxiv url: http://arxiv.org/abs/2406.05072v2
• Date: Fri, 31 Jan 2025 15:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:59:53.365692
• Title: Linearization Turns Neural Operators into Function-Valued Gaussian Processes
• Title（参考訳）: 線形化によるニューラル演算子を関数値ガウス過程に変換する
• Authors: Emilia Magnani, Marvin Pförtner, Tobias Weber, Philipp Hennig,
• Abstract要約: 我々は、訓練されたニューラル演算子におけるベイズの不確実性定量化を近似するための新しいフレームワークLUNOを紹介する。 我々の手法はモデル線形化を利用して(ガウス的)重み空間の不確実性をニューラル作用素の予測に推し進める。 これは関数型プログラミングのカリー化の概念の確率的バージョンとして解釈でき、関数値(ガウス的)ランダムプロセスの信念を導出することを示す。
• 参考スコア（独自算出の注目度）: 23.85470417458593
• License:
• Abstract: Neural operators generalize neural networks to learn mappings between function spaces from data. They are commonly used to learn solution operators of parametric partial differential equations (PDEs) or propagators of time-dependent PDEs. However, to make them useful in high-stakes simulation scenarios, their inherent predictive error must be quantified reliably. We introduce LUNO, a novel framework for approximate Bayesian uncertainty quantification in trained neural operators. Our approach leverages model linearization to push (Gaussian) weight-space uncertainty forward to the neural operator's predictions. We show that this can be interpreted as a probabilistic version of the concept of currying from functional programming, yielding a function-valued (Gaussian) random process belief. Our framework provides a practical yet theoretically sound way to apply existing Bayesian deep learning methods such as the linearized Laplace approximation to neural operators. Just as the underlying neural operator, our approach is resolution-agnostic by design. The method adds minimal prediction overhead, can be applied post-hoc without retraining the network, and scales to large models and datasets. We evaluate these aspects in a case study on Fourier neural operators.
• Abstract（参考訳）: ニューラルネットワークを一般化して、関数空間間のマッピングをデータから学習する。 これらは一般に、パラメトリック偏微分方程式(PDE)の解作用素や時間依存PDEのプロパゲータを学ぶために用いられる。 しかし, 高精度なシミュレーションシナリオにおいて有用となるためには, その固有の予測誤差を確実に定量化する必要がある。 我々は、訓練されたニューラル演算子におけるベイズの不確実性定量化を近似するための新しいフレームワークLUNOを紹介する。 我々の手法はモデル線形化を利用して(ガウス的)重み空間の不確実性をニューラル作用素の予測に推し進める。 これは関数型プログラミングのカリー化の概念の確率的バージョンとして解釈でき、関数値(ガウス的)なランダムプロセスの信念が得られることを示す。 我々のフレームワークは、線形化ラプラス近似のような既存のベイズ深層学習手法をニューラルネットワークに応用するための実用的かつ理論的に健全な方法を提供する。 根底にある神経オペレータと同様に、我々のアプローチは設計によって解像度に依存しない。 この方法は、最小限の予測オーバーヘッドを追加し、ネットワークを再トレーニングすることなくポストホックに適用し、大規模モデルやデータセットにスケールする。 フーリエニューラル作用素のケーススタディにおいてこれらの側面を評価する。

関連論文リスト

• Probabilistic neural operators for functional uncertainty quantification [14.08907045605149]
  本稿では,ニューラル演算子の出力関数空間上の確率分布を学習するフレームワークである確率論的ニューラル演算子(PNO)を紹介する。 PNOは、厳密な適切なスコアリングルールに基づく生成モデリングにより、ニューラル演算子を拡張し、不確実性情報をトレーニングプロセスに直接統合する。
  論文  参考訳（メタデータ） (2025-02-18T14:42:11Z)
• Neural Operators for Predictor Feedback Control of Nonlinear Delay Systems [3.0248879829045388]
  本稿では,予測器の定式化を演算子学習問題として再キャストすることで,予測器設計の新しい視点を導入する。 我々は、予測演算子の任意の精度のニューラル演算子近似の存在を証明した。 近似予測器の下では閉ループ非線形系の半言語的実用安定性を実現する。
  論文  参考訳（メタデータ） (2024-11-28T07:30:26Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Convolutional Neural Operators for robust and accurate learning of PDEs [11.562748612983956]
  本稿では、入力や出力として関数を処理する畳み込みニューラルネットワークの新しい適応法を提案する。 結果として生じるアーキテクチャは、畳み込みニューラル演算子(CNO)と呼ばれる。 普遍性定理を証明し、CNOが PDE で生じる作用素を所望の精度で近似できることを示す。
  論文  参考訳（メタデータ） (2023-02-02T15:54:45Z)
• Reliable extrapolation of deep neural operators informed by physics or sparse observations [2.887258133992338]
  ディープニューラルネットワークは、ディープニューラルネットワークを介して無限次元関数空間間の非線形マッピングを学習することができる。 DeepONetsは科学と工学の新しいシミュレーションパラダイムを提供する。 本稿では,外挿下での安全な予測を保証する5つの信頼性学習手法を提案する。
  論文  参考訳（メタデータ） (2022-12-13T03:02:46Z)
• Approximate Bayesian Neural Operators: Uncertainty Quantification for Parametric PDEs [34.179984253109346]
  ニューラル作用素の'hallow'(線形)バージョンを数学的に詳細に定式化する。 次に、ベイズ深層学習の近似手法を用いて、この解析処理を一般のディープニューラル演算子に拡張する。 その結果, ニューラル演算子の予測に失敗するケースを同定し, 構造的不確実性推定を行うことができた。
  論文  参考訳（メタデータ） (2022-08-02T16:10:27Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。