論文の概要: Derivative-Informed Neural Operator: An Efficient Framework for
High-Dimensional Parametric Derivative Learning
- arxiv url: http://arxiv.org/abs/2206.10745v4
- Date: Mon, 16 Oct 2023 22:00:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 00:43:33.909573
- Title: Derivative-Informed Neural Operator: An Efficient Framework for
High-Dimensional Parametric Derivative Learning
- Title（参考訳）: derivative-informed neural operator:高次元パラメトリック微分学習のための効率的な枠組み
- Authors: Thomas O'Leary-Roseberry, Peng Chen, Umberto Villa, and Omar Ghattas
- Abstract要約: 微分インフォームド・ニューラル演算子(DINO)を提案する。
DINO は入力関数空間から出力関数空間や興味の量への無限次元写像として近似する。
提案したDINOは,デリバティブ情報なしで訓練したニューラル演算子よりも有意に精度が高いことを示す。
- 参考スコア（独自算出の注目度）: 3.7051887945349518
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose derivative-informed neural operators (DINOs), a general family of
neural networks to approximate operators as infinite-dimensional mappings from
input function spaces to output function spaces or quantities of interest.
After discretizations both inputs and outputs are high-dimensional. We aim to
approximate not only the operators with improved accuracy but also their
derivatives (Jacobians) with respect to the input function-valued parameter to
empower derivative-based algorithms in many applications, e.g., Bayesian
inverse problems, optimization under parameter uncertainty, and optimal
experimental design. The major difficulties include the computational cost of
generating derivative training data and the high dimensionality of the problem
leading to large training cost. To address these challenges, we exploit the
intrinsic low-dimensionality of the derivatives and develop algorithms for
compressing derivative information and efficiently imposing it in neural
operator training yielding derivative-informed neural operators. We demonstrate
that these advances can significantly reduce the costs of both data generation
and training for large classes of problems (e.g., nonlinear steady state
parametric PDE maps), making the costs marginal or comparable to the costs
without using derivatives, and in particular independent of the discretization
dimension of the input and output functions. Moreover, we show that the
proposed DINO achieves significantly higher accuracy than neural operators
trained without derivative information, for both function approximation and
derivative approximation (e.g., Gauss-Newton Hessian), especially when the
training data are limited.
- Abstract（参考訳）: 入力関数空間から出力関数空間や関心量への無限次元写像としての近似演算子として、ニューラルネットワークの一般族である微分型ニューラルネットワーク(dinos)を提案する。
離散化後、入力と出力の両方が高次元となる。
提案手法は, 精度向上した演算子だけでなく, 入力関数値パラメータに対するデリバティブ(ヤコビアン)を近似し, ベイズ逆問題, パラメータ不確かさによる最適化, 最適実験設計などの多くの応用において, 導関数ベースのアルゴリズムを有効化することを目的とする。
主な困難は、微分訓練データを生成する計算コストと、大きな訓練コストにつながる問題の高次元化である。
これらの課題に対処するために,デリバティブの固有低次元性を活用し,デリバティブ情報圧縮アルゴリズムを開発し,デリバティブ不定型ニューラル演算子を付与するニューラルオペレータトレーニングにおいて効率的に構成する。
これらの進歩は、大規模な問題(例えば、非線形定常状態パラメトリックPDEマップ)に対するデータ生成とトレーニングの両方のコストを著しく削減し、導関数を使わずにコストを極端または同等にし、特に入力と出力関数の離散化次元に依存していることを示す。
さらに、DINOは、特に訓練データに制限がある場合に、関数近似と微分近似(例えば、ガウス・ニュートン・ヘッセン)の両方に対して、微分情報なしで訓練された神経演算子よりもはるかに精度が高いことを示す。
関連論文リスト
- Towards Gaussian Process for operator learning: an uncertainty aware resolution independent operator learning algorithm for computational mechanics [8.528817025440746]
本稿では、パラメトリック微分方程式を解くための新しいガウス過程(GP)に基づくニューラル演算子を提案する。
ニューラル演算子を用いて学習した潜在空間でGPカーネルを定式化するニューラル演算子埋め込みカーネル'を提案する。
本研究は, 不確実性評価におけるロバスト性を維持しつつ, 複雑なPDEを解く上で, この枠組みの有効性を強調した。
論文 参考訳（メタデータ） (2024-09-17T08:12:38Z) - DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。
既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。
直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
論文 参考訳（メタデータ） (2024-06-14T07:45:07Z) - Linearization Turns Neural Operators into Function-Valued Gaussian Processes [23.85470417458593]
ニューラル作用素におけるベイズの不確かさを近似する新しい枠組みを導入する。
我々の手法は関数型プログラミングからカリー化の概念の確率論的類似体と解釈できる。
我々は、異なるタイプの偏微分方程式への応用を通して、我々のアプローチの有効性を示す。
論文 参考訳（メタデータ） (2024-06-07T16:43:54Z) - Derivative-enhanced Deep Operator Network [3.169190797722534]
デリバティブ強化ディープオペレータネットワーク(DE-DeepONet)
システムは、訓練コストを削減するために、DeepONetに入力された高次元パラメータの線形次元の削減を取り入れている。
微分損失は、フーリエ神経演算子(FNO)のような他の神経演算子を強化するために拡張することができる
論文 参考訳（メタデータ） (2024-02-29T15:18:37Z) - Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。
提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文 参考訳（メタデータ） (2023-07-27T17:42:06Z) - Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural
Network Derivatives [13.300625539460217]
本稿では, ほぼ最適なVapnik-Chervonenkis次元(VC次元)の問題とディープニューラルネットワーク(DNN)の導関数の擬次元推定について述べる。
この2つの重要な応用は,1) ソボレフ空間におけるDNNのほぼ密近似値の確立,2) 関数導関数を含む損失関数を持つ機械学習手法の一般化誤差のキャラクタリゼーションである。
論文 参考訳（メタデータ） (2023-05-15T09:10:12Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳（メタデータ） (2022-02-18T18:07:54Z) - Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳（メタデータ） (2021-08-19T03:56:49Z) - Incorporating NODE with Pre-trained Neural Differential Operator for
Learning Dynamics [73.77459272878025]
ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。
NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。
我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
論文 参考訳（メタデータ） (2021-06-08T08:04:47Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳（メタデータ） (2020-10-02T15:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。