論文の概要: Dimension reduction for derivative-informed operator learning: An analysis of approximation errors

• arxiv url: http://arxiv.org/abs/2504.08730v1
• Date: Fri, 11 Apr 2025 17:56:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:17:27.519871
• Title: Dimension reduction for derivative-informed operator learning: An analysis of approximation errors
• Title（参考訳）: 微分インフォームド演算子学習における次元減少:近似誤差の解析
• Authors: Dingcheng Luo, Thomas O'Leary-Roseberry, Peng Chen, Omar Ghattas,
• Abstract要約: ニューラルネットワークによる無限次元分離可能なヒルベルト空間間の非線形作用素の微分インフォームド学習について検討する。 無限次元ガウス入力測度のソボレフノルムにおけるニューラル演算子の近似誤差を解析する。
• 参考スコア（独自算出の注目度）: 3.7051887945349518
• License:
• Abstract: We study the derivative-informed learning of nonlinear operators between infinite-dimensional separable Hilbert spaces by neural networks. Such operators can arise from the solution of partial differential equations (PDEs), and are used in many simulation-based outer-loop tasks in science and engineering, such as PDE-constrained optimization, Bayesian inverse problems, and optimal experimental design. In these settings, the neural network approximations can be used as surrogate models to accelerate the solution of the outer-loop tasks. However, since outer-loop tasks in infinite dimensions often require knowledge of the underlying geometry, the approximation accuracy of the operator's derivatives can also significantly impact the performance of the surrogate model. Motivated by this, we analyze the approximation errors of neural operators in Sobolev norms over infinite-dimensional Gaussian input measures. We focus on the reduced basis neural operator (RBNO), which uses linear encoders and decoders defined on dominant input/output subspaces spanned by reduced sets of orthonormal bases. To this end, we study two methods for generating the bases; principal component analysis (PCA) and derivative-informed subspaces (DIS), which use the dominant eigenvectors of the covariance of the data or the derivatives as the reduced bases, respectively. We then derive bounds for errors arising from both the dimension reduction and the latent neural network approximation, including the sampling errors associated with the empirical estimation of the PCA/DIS. Our analysis is validated on numerical experiments with elliptic PDEs, where our results show that bases informed by the map (i.e., DIS or output PCA) yield accurate reconstructions and generalization errors for both the operator and its derivatives, while input PCA may underperform unless ranks and training sample sizes are sufficiently large.
• Abstract（参考訳）: ニューラルネットワークによる無限次元分離可能なヒルベルト空間間の非線形作用素の微分インフォームド学習について検討する。 そのような作用素は偏微分方程式(PDE)の解から生じ、PDE制約最適化、ベイズ逆問題、最適実験設計など、科学や工学における多くのシミュレーションに基づく外ループタスクで用いられる。 これらの設定では、ニューラルネットワーク近似を代理モデルとして使用して、外ループタスクの解を高速化することができる。 しかし、無限次元における外ループタスクは基礎となる幾何学の知識を必要とすることが多いため、演算子の微分の近似精度は代理モデルの性能に大きく影響する。 そこで我々は,無限次元ガウス入力測度におけるソボレフノルムのニューラル演算子の近似誤差を解析した。 我々は、線形エンコーダとデコーダを用いて、正規直交基底の縮小された集合にまたがる支配的な入出力部分空間上で定義されるリダクションベースニューラル演算子(RBNO)に焦点を当てる。 そこで本研究では, 基本成分分析 (PCA) と微分インフォームド部分空間 (DIS) の2つの手法について検討した。 次に,PCA/DISの実験的推定に伴うサンプリング誤差を含む,次元減少と潜時ニューラルネットワーク近似の両方から生じる誤差の境界を導出する。 解析は楕円型PDEを用いた数値実験で検証され、この結果から、地図(例えば、disまたは出力PCA)が演算子とその導体の両方に対して正確な再構成および一般化誤差を生じさせ、入力PCAは、ランクとトレーニングサンプルサイズが十分に大きくない限り、性能が低下することが示された。

関連論文リスト

• Diffeomorphic Latent Neural Operators for Data-Efficient Learning of Solutions to Partial Differential Equations [5.308435208832696]
  計算された解演算子から偏微分方程式系(PDE)への近似は、科学や工学の様々な分野において必要である。 十分なデータのサンプル化を必要とせず,複数の領域にまたがって一般化可能なPDEソリューション演算子を学習するために,少数の真理解場に潜伏したニューラル演算子を訓練することができることを提案する。
  論文  参考訳（メタデータ） (2024-11-27T03:16:00Z)
• DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
  我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。 既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。 直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
  論文  参考訳（メタデータ） (2024-06-14T07:45:07Z)
• Derivative-enhanced Deep Operator Network [3.169190797722534]
  デリバティブ強化ディープオペレータネットワーク(DE-DeepONet) システムは、訓練コストを削減するために、DeepONetに入力された高次元パラメータの線形次元の削減を取り入れている。 微分損失は、フーリエ神経演算子(FNO)のような他の神経演算子を強化するために拡張することができる
  論文  参考訳（メタデータ） (2024-02-29T15:18:37Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Residual-based error correction for neural operator accelerated infinite-dimensional Bayesian inverse problems [3.2548794659022393]
  関数空間間の非線形写像のニューラルネットワーク表現を用いて無限次元ベイズ逆問題を高速化する。 誤差補正の訓練されたニューラル演算子が近似誤差を2次的に低減できることを示す。 トレーニングされたニューラル演算子を用いて生成された2つのBIPの後方表現は、誤り訂正によって大きく、一貫して拡張されていることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:57:22Z)
• Derivative-Informed Neural Operator: An Efficient Framework for High-Dimensional Parametric Derivative Learning [3.7051887945349518]
  微分インフォームド・ニューラル演算子(DINO)を提案する。 DINO は入力関数空間から出力関数空間や興味の量への無限次元写像として近似する。 提案したDINOは,デリバティブ情報なしで訓練したニューラル演算子よりも有意に精度が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-21T21:40:01Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
  PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。 結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-11-06T03:41:34Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。