論文の概要: Derivate Informed Neural Operator: An Efficient Framework for High-Dimensional Parametric Derivative Learning

• arxiv url: http://arxiv.org/abs/2206.10745v1
• Date: Tue, 21 Jun 2022 21:40:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 07:40:40.643435
• Title: Derivate Informed Neural Operator: An Efficient Framework for High-Dimensional Parametric Derivative Learning
• Title（参考訳）: 微分インフォームドニューラル演算子:高次元パラメトリック学習のための効率的なフレームワーク
• Authors: Thomas O'Leary-Roseberry, Peng Chen, Umberto Villa, and Omar Ghattas
• Abstract要約: パラメトリックジャコビアン情報は、その高次元性のために正式に組み込むことができる。 削減されたSVD、ランダム化されたスケッチ、および削減されたベースサロゲートの利用に基づく戦略を提案する。
• 参考スコア（独自算出の注目度）: 5.763417980421737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural operators have gained significant attention recently due to their ability to approximate high-dimensional parametric maps between function spaces. At present, only parametric function approximation has been addressed in the neural operator literature. In this work we investigate incorporating parametric derivative information in neural operator training; this information can improve function approximations, additionally it can be used to improve the approximation of the derivative with respect to the parameter, which is often the key to scalable solution of high-dimensional outer-loop problems (e.g. Bayesian inverse problems). Parametric Jacobian information is formally intractable to incorporate due to its high-dimensionality, to address this concern we propose strategies based on reduced SVD, randomized sketching and the use of reduced basis surrogates. All of these strategies only require only $O(r)$ Jacobian actions to construct sample Jacobian data, and allow us to reduce the linear algebra and memory costs associated with the Jacobian training from the product of the input and output dimensions down to $O(r^2)$, where $r$ is the dimensionality associated with the dimension reduction technique. Numerical results for parametric PDE problems demonstrate that the addition of derivative information to the training problem can significantly improve the parametric map approximation, particularly given few data. When Jacobian actions are inexpensive compared to the parametric map, this information can be economically substituted for parametric map data. Additionally we show that Jacobian error approximations improve significantly with the introduction of Jacobian training data. This result opens the door to the use of derivative informed neural operators (DINOs) in outer-loop algorithms where they can amortize the additional training data cost via repeated evaluations.
• Abstract（参考訳）: ニューラル演算子は最近、関数空間間の高次元パラメトリックマップを近似する能力により、大きな注目を集めている。 現在、神経オペレーターの文献ではパラメトリック関数近似のみが扱われている。 本研究では,ニューラル演算子訓練におけるパラメトリック微分情報の導入について検討する。この情報は関数近似を改善できるだけでなく,高次元外ループ問題(ベイズ逆問題など)のスケーラブルな解の鍵となるパラメータに対する微分の近似を改善するためにも利用できる。 パラメトリックジャコビアン情報は,その高次元性から組み込むことができ,SVDの削減,スケッチのランダム化,ベースサロゲートの削減に基づく戦略を提案する。 これらの戦略は、ジャコビアンデータのサンプルを構成するためにのみ$O(r)$のジャコビアン作用を必要とし、ジャコビアントレーニングに関連する線形代数とメモリコストを入力と出力の次元の積から$O(r^2)$に下げることができる。 パラメトリックPDE問題に対する数値計算の結果、特に少ないデータの場合、トレーニング問題への微分情報の追加はパラメトリックマップ近似を大幅に改善することを示した。 ヤコビアン行動がパラメトリックマップに比べて安価であれば、この情報はパラメトリックマップデータに経済的に置き換えることができる。 さらに,jacob型トレーニングデータの導入により,jacob型エラー近似が大幅に改善することを示す。 この結果は、外部ループアルゴリズムにおける微分インフォームドニューラルオペレータ(dinos)の使用への扉を開き、繰り返し評価することで追加のトレーニングデータコストを償却することができる。

関連論文リスト

• Towards Gaussian Process for operator learning: an uncertainty aware resolution independent operator learning algorithm for computational mechanics [8.528817025440746]
  本稿では、パラメトリック微分方程式を解くための新しいガウス過程(GP)に基づくニューラル演算子を提案する。 ニューラル演算子を用いて学習した潜在空間でGPカーネルを定式化するニューラル演算子埋め込みカーネル'を提案する。 本研究は, 不確実性評価におけるロバスト性を維持しつつ, 複雑なPDEを解く上で, この枠組みの有効性を強調した。
  論文  参考訳（メタデータ） (2024-09-17T08:12:38Z)
• DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
  我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。 既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。 直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
  論文  参考訳（メタデータ） (2024-06-14T07:45:07Z)
• Linearization Turns Neural Operators into Function-Valued Gaussian Processes [23.85470417458593]
  ニューラル作用素におけるベイズの不確かさを近似する新しい枠組みを導入する。 我々の手法は関数型プログラミングからカリー化の概念の確率論的類似体と解釈できる。 我々は、異なるタイプの偏微分方程式への応用を通して、我々のアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-06-07T16:43:54Z)
• Derivative-enhanced Deep Operator Network [3.169190797722534]
  デリバティブ強化ディープオペレータネットワーク(DE-DeepONet) システムは、訓練コストを削減するために、DeepONetに入力された高次元パラメータの線形次元の削減を取り入れている。 微分損失は、フーリエ神経演算子(FNO)のような他の神経演算子を強化するために拡張することができる
  論文  参考訳（メタデータ） (2024-02-29T15:18:37Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural Network Derivatives [13.300625539460217]
  本稿では, ほぼ最適なVapnik-Chervonenkis次元(VC次元)の問題とディープニューラルネットワーク(DNN)の導関数の擬次元推定について述べる。 この2つの重要な応用は,1) ソボレフ空間におけるDNNのほぼ密近似値の確立,2) 関数導関数を含む損失関数を持つ機械学習手法の一般化誤差のキャラクタリゼーションである。
  論文  参考訳（メタデータ） (2023-05-15T09:10:12Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。