論文の概要: Out-of-distributional risk bounds for neural operators with applications to the Helmholtz equation

• arxiv url: http://arxiv.org/abs/2301.11509v3
• Date: Tue, 4 Jul 2023 22:42:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 23:15:38.702702
• Title: Out-of-distributional risk bounds for neural operators with applications to the Helmholtz equation
• Title（参考訳）: 神経作用素の分布外リスク境界とヘルムホルツ方程式への応用
• Authors: J. Antonio Lara Benitez, Takashi Furuya, Florian Faucher, Anastasis Kratsios, Xavier Tricoche, Maarten V. de Hoop
• Abstract要約: 既存のニューラル演算子(NO)は、全ての物理問題に対して必ずしもうまく機能しない。 非線形作用素の波動速度を解にマッピングする実験的な近似を可能にするNOのサブファミリーを提案する。 本実験は, 深度導入の一般化と関連性において, ある種のサプライズを明らかにするものである。 我々は、NOsのサブファミリーのハイパーネットワークバージョンを、前述のフォワード演算子のサロゲートモデルとして提案することで結論付ける。
• 参考スコア（独自算出の注目度）: 6.296104145657063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their remarkable success in approximating a wide range of operators defined by PDEs, existing neural operators (NOs) do not necessarily perform well for all physics problems. We focus here on high-frequency waves to highlight possible shortcomings. To resolve these, we propose a subfamily of NOs enabling an enhanced empirical approximation of the nonlinear operator mapping wave speed to solution, or boundary values for the Helmholtz equation on a bounded domain. The latter operator is commonly referred to as the ''forward'' operator in the study of inverse problems. Our methodology draws inspiration from transformers and techniques such as stochastic depth. Our experiments reveal certain surprises in the generalization and the relevance of introducing stochastic depth. Our NOs show superior performance as compared with standard NOs, not only for testing within the training distribution but also for out-of-distribution scenarios. To delve into this observation, we offer an in-depth analysis of the Rademacher complexity associated with our modified models and prove an upper bound tied to their stochastic depth that existing NOs do not satisfy. Furthermore, we obtain a novel out-of-distribution risk bound tailored to Gaussian measures on Banach spaces, again relating stochastic depth with the bound. We conclude by proposing a hypernetwork version of the subfamily of NOs as a surrogate model for the mentioned forward operator.
• Abstract（参考訳）: PDEによって定義された幅広い演算子の近似に顕著な成功にもかかわらず、既存のニューラル演算子(NO)は必ずしも全ての物理問題に対してうまく機能しない。 ここでは高周波波に着目し,欠点を浮き彫りにする。 そこで本研究では,nos のサブファミリーを提案し,境界領域上のヘルムホルツ方程式の境界値と解への波動速度の非線形作用素マッピングを拡張的に近似する手法を提案する。 後者の作用素は、逆問題の研究において一般に'forward'演算子と呼ばれる。 提案手法は,確率深度などのトランスフォーマーや技術からインスピレーションを得ている。 本実験は,確率的深度導入の一般化と関連性において,ある種の驚きを明らかにするものである。 我々のNOは、トレーニングディストリビューション内でのテストだけでなく、アウト・オブ・ディストリビューションのシナリオに対しても、標準的なNOよりも優れたパフォーマンスを示しています。 この観察を掘り下げるために、修正されたモデルに関連するラデマッハ複雑性を詳細に分析し、既存のnosが満たさない確率的深さに結びついた上限を証明します。 さらに,バナッハ空間上のガウス測度に合わせた,確率的深さと境界に関する新たな分布的リスクが得られた。 我々は、NOsのサブファミリーのハイパーネットワークバージョンを、前述のフォワード演算子の代理モデルとして提案することで結論付ける。

関連論文リスト

• Optimal Convergence Rates for Neural Operators [2.9388890036358104]
  我々は、隠れたニューロンの数と一般化に必要な第2段階のサンプルの数に制限を与える。 ニューラル作用素のキーとなる応用は、偏微分方程式の解作用素に対する代理写像の学習である。
  論文  参考訳（メタデータ） (2024-12-23T12:31:38Z)
• Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence [25.717501580080846]
  本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。 トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T17:56:49Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Nonlinear Reconstruction for Operator Learning of PDEs with Discontinuities [5.735035463793008]
  双曲的および対流的に支配されるPDEの大規模なクラスは、不連続性を伴う解を持つことができる。 我々は, 線形再構成ステップを含む手法がPDEの解演算子を効率的に近似できないことを, より低い近似バウンダリの観点から厳密に証明する。 非線形再構成機構を用いることで,これらの基本的下界を克服し,基礎となる演算子を効率的に近似することができることを示す。
  論文  参考訳（メタデータ） (2022-10-03T16:47:56Z)
• Semi-supervised Invertible DeepONets for Bayesian Inverse Problems [8.594140167290098]
  DeepONetsは、学習オペレーターによってパラメトリックPDEを解決する強力なデータ駆動ツールを提供する。 本研究では,高次元ベイズ逆問題(Bayesian inverse problem)の文脈で物理インフォームド・ディープノネット(DeepONets)を用いる。
  論文  参考訳（メタデータ） (2022-09-06T18:55:06Z)
• Approximate Bayesian Neural Operators: Uncertainty Quantification for Parametric PDEs [34.179984253109346]
  ニューラル作用素の'hallow'(線形)バージョンを数学的に詳細に定式化する。 次に、ベイズ深層学習の近似手法を用いて、この解析処理を一般のディープニューラル演算子に拡張する。 その結果, ニューラル演算子の予測に失敗するケースを同定し, 構造的不確実性推定を行うことができた。
  論文  参考訳（メタデータ） (2022-08-02T16:10:27Z)
• Learning Dynamical Systems via Koopman Operator Regression in Reproducing Kernel Hilbert Spaces [52.35063796758121]
  動的システムの有限データ軌跡からクープマン作用素を学ぶためのフレームワークを定式化する。 リスクとクープマン作用素のスペクトル分解の推定を関連付ける。 以上の結果から,RRRは他の広く用いられている推定値よりも有益である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-27T14:57:48Z)
• A Unifying Theory of Thompson Sampling for Continuous Risk-Averse Bandits [91.3755431537592]
  本稿では,多腕バンディット問題に対するリスク-逆トンプソンサンプリングアルゴリズムの解析を統一する。 大規模偏差理論における収縮原理を用いることで、連続リスク汎関数に対する新しい濃度境界が証明される。 リスク関数の幅広いクラスと「ニセ」関数が連続性条件を満たすことを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。