論文の概要: Derivative-Informed Neural Operator: An Efficient Framework for
High-Dimensional Parametric Derivative Learning
- arxiv url: http://arxiv.org/abs/2206.10745v4
- Date: Mon, 16 Oct 2023 22:00:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 00:43:33.909573
- Title: Derivative-Informed Neural Operator: An Efficient Framework for
High-Dimensional Parametric Derivative Learning
- Title(参考訳): derivative-informed neural operator:高次元パラメトリック微分学習のための効率的な枠組み
- Authors: Thomas O'Leary-Roseberry, Peng Chen, Umberto Villa, and Omar Ghattas
- Abstract要約: 微分インフォームド・ニューラル演算子(DINO)を提案する。
DINO は入力関数空間から出力関数空間や興味の量への無限次元写像として近似する。
提案したDINOは,デリバティブ情報なしで訓練したニューラル演算子よりも有意に精度が高いことを示す。
- 参考スコア(独自算出の注目度): 3.7051887945349518
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose derivative-informed neural operators (DINOs), a general family of
neural networks to approximate operators as infinite-dimensional mappings from
input function spaces to output function spaces or quantities of interest.
After discretizations both inputs and outputs are high-dimensional. We aim to
approximate not only the operators with improved accuracy but also their
derivatives (Jacobians) with respect to the input function-valued parameter to
empower derivative-based algorithms in many applications, e.g., Bayesian
inverse problems, optimization under parameter uncertainty, and optimal
experimental design. The major difficulties include the computational cost of
generating derivative training data and the high dimensionality of the problem
leading to large training cost. To address these challenges, we exploit the
intrinsic low-dimensionality of the derivatives and develop algorithms for
compressing derivative information and efficiently imposing it in neural
operator training yielding derivative-informed neural operators. We demonstrate
that these advances can significantly reduce the costs of both data generation
and training for large classes of problems (e.g., nonlinear steady state
parametric PDE maps), making the costs marginal or comparable to the costs
without using derivatives, and in particular independent of the discretization
dimension of the input and output functions. Moreover, we show that the
proposed DINO achieves significantly higher accuracy than neural operators
trained without derivative information, for both function approximation and
derivative approximation (e.g., Gauss-Newton Hessian), especially when the
training data are limited.
- Abstract(参考訳): 入力関数空間から出力関数空間や関心量への無限次元写像としての近似演算子として、ニューラルネットワークの一般族である微分型ニューラルネットワーク(dinos)を提案する。
離散化後、入力と出力の両方が高次元となる。
提案手法は, 精度向上した演算子だけでなく, 入力関数値パラメータに対するデリバティブ(ヤコビアン)を近似し, ベイズ逆問題, パラメータ不確かさによる最適化, 最適実験設計などの多くの応用において, 導関数ベースのアルゴリズムを有効化することを目的とする。
主な困難は、微分訓練データを生成する計算コストと、大きな訓練コストにつながる問題の高次元化である。
これらの課題に対処するために,デリバティブの固有低次元性を活用し,デリバティブ情報圧縮アルゴリズムを開発し,デリバティブ不定型ニューラル演算子を付与するニューラルオペレータトレーニングにおいて効率的に構成する。
これらの進歩は、大規模な問題(例えば、非線形定常状態パラメトリックPDEマップ)に対するデータ生成とトレーニングの両方のコストを著しく削減し、導関数を使わずにコストを極端または同等にし、特に入力と出力関数の離散化次元に依存していることを示す。
さらに、DINOは、特に訓練データに制限がある場合に、関数近似と微分近似(例えば、ガウス・ニュートン・ヘッセン)の両方に対して、微分情報なしで訓練された神経演算子よりもはるかに精度が高いことを示す。
関連論文リスト
- Derivative-enhanced Deep Operator Network [3.5618528565950482]
本稿では, 予測精度を高め, 導関数のより正確な近似を行うために, 導関数強化深部演算ネットワーク(DE-DeepONet)を提案する。
我々は,De-DeepONetを3つの異なる方程式で検証し,その複雑性を増大させ,その効果をバニラのDeepONetと比較した。
論文 参考訳(メタデータ) (2024-02-29T15:18:37Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳(メタデータ) (2023-06-06T19:02:57Z) - Efficient PDE-Constrained optimization under high-dimensional
uncertainty using derivative-informed neural operators [6.296120102486062]
大規模偏微分方程式(PDE)を高次元ランダムパラメータで解くための新しい枠組みを提案する。
我々は、そのようなニューラル演算子をマルチインプット還元ベースインフォメーションニューラル演算子(MR-DINO)と呼ぶ。
MR-DINOは103ドル~107ドルで実行時間を短縮し,標準PDEソリューションと同等の精度のOUUソリューションを生成可能であることを示す。
論文 参考訳(メタデータ) (2023-05-31T17:26:20Z) - Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural
Network Derivatives [13.300625539460217]
本稿では, ほぼ最適なVapnik-Chervonenkis次元(VC次元)の問題とディープニューラルネットワーク(DNN)の導関数の擬次元推定について述べる。
この2つの重要な応用は,1) ソボレフ空間におけるDNNのほぼ密近似値の確立,2) 関数導関数を含む損失関数を持つ機械学習手法の一般化誤差のキャラクタリゼーションである。
論文 参考訳(メタデータ) (2023-05-15T09:10:12Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳(メタデータ) (2022-02-18T18:07:54Z) - Physics-Informed Neural Operator for Learning Partial Differential
Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。
結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文 参考訳(メタデータ) (2021-11-06T03:41:34Z) - Neural Operator: Learning Maps Between Function Spaces [57.90284928158383]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳(メタデータ) (2021-08-19T03:56:49Z) - Scaling Gaussian Processes with Derivative Information Using Variational
Inference [17.746842802181256]
本稿では,変分推論を用いた導関数を用いた完全スケーラブルなガウス過程回帰を実現する手法を提案する。
我々は,高次元ステラレータ融合回帰タスクから,Pubmed上のグラフ畳み込みニューラルネットワークのトレーニングまで,さまざまなタスクに対するアプローチの完全なスケーラビリティを実証する。
論文 参考訳(メタデータ) (2021-07-08T18:23:59Z) - Incorporating NODE with Pre-trained Neural Differential Operator for
Learning Dynamics [73.77459272878025]
ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。
NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。
我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
論文 参考訳(メタデータ) (2021-06-08T08:04:47Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳(メタデータ) (2020-10-02T15:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。