論文の概要: DeepONet for Solving PDEs: Generalization Analysis in Sobolev Training

• arxiv url: http://arxiv.org/abs/2410.04344v1
• Date: Sun, 6 Oct 2024 03:43:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-02 08:20:17.236919
• Title: DeepONet for Solving PDEs: Generalization Analysis in Sobolev Training
• Title（参考訳）: DeepONet for Solving PDE: Generalization Analysis in Sobolev Training
• Authors: Yahong Yang,
• Abstract要約: 偏微分方程式(PDE)の解法における演算子学習,特にDeepONetの適用について検討する。 本稿では,ソボレフトレーニングにおけるDeepONetの性能に着目し,ディープブランチとトランクネットワークの近似能力とソボレフノルムの一般化誤差の2つの重要な問題に対処する。
• 参考スコア（独自算出の注目度）: 2.44755919161855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the application of operator learning, specifically DeepONet, to solve partial differential equations (PDEs). Unlike function learning methods that require training separate neural networks for each PDE, operator learning generalizes across different PDEs without retraining. We focus on the performance of DeepONet in Sobolev training, addressing two key questions: the approximation ability of deep branch and trunk networks, and the generalization error in Sobolev norms. Our findings highlight that deep branch networks offer significant performance benefits, while trunk networks are best kept simple. Moreover, standard sampling methods without adding derivative information in the encoding part are sufficient for minimizing generalization error in Sobolev training, based on generalization analysis. This paper fills a theoretical gap by providing error estimations for a wide range of physics-informed machine learning models and applications.
• Abstract（参考訳）: 本稿では,演算子学習,特にDeepONetの偏微分方程式(PDE)への応用について検討する。 各PDEに対して別々のニューラルネットワークのトレーニングを必要とする関数学習方法とは異なり、オペレータ学習は再トレーニングすることなく、異なるPDEをまたいだ一般化を行う。 本稿では,ソボレフトレーニングにおけるDeepONetの性能に着目し,ディープブランチとトランクネットワークの近似能力とソボレフノルムの一般化誤差の2つの重要な問題に対処する。 我々の発見は、ディープブランチネットワークが大きなパフォーマンス上のメリットを提供するのに対して、トランクネットワークは最もシンプルであることを示している。 また、符号化部に微分情報を加えない標準サンプリング法は、一般化解析に基づくソボレフ訓練における一般化誤差を最小限に抑えるのに十分である。 本稿では,幅広い物理インフォームド機械学習モデルと応用のための誤差推定を提供することにより,理論的ギャップを埋める。

関連論文リスト

• Enabling Automatic Differentiation with Mollified Graph Neural Operators [75.3183193262225]
  本稿では,任意の測地上での自動微分とエンフェクサクタクティック勾配を計算するための最初の手法であるモリファイドグラフニューラル演算子 (mGNO) を提案する。 正規格子上のPDEの例では、mGNOとオートグレードの組み合わせにより、L2相対データの誤差は有限差に比べて20倍減少した。 また、物理損失のみを使用し、有限差分に必要な分解能よりもはるかに低い精度で、非構造化点雲上のPDEをシームレスに解くことができる。
  論文  参考訳（メタデータ） (2025-04-11T06:16:30Z)
• From Theory to Application: A Practical Introduction to Neural Operators in Scientific Computing [0.0]
  この研究は、Deep Operator Networks (DeepONet) や主成分分析に基づくニューラルネットワーク (PCANet) などの基礎モデルをカバーする。 レビューでは、ベイズ推論問題の代理として神経オペレーターを適用し、精度を維持しながら後部推論を加速させる効果を示した。 残差ベースのエラー修正やマルチレベルトレーニングなど、これらの問題に対処する新たな戦略を概説する。
  論文  参考訳（メタデータ） (2025-03-07T17:25:25Z)
• Quantifying Training Difficulty and Accelerating Convergence in Neural Network-Based PDE Solvers [9.936559796069844]
  ニューラルネットワークに基づくPDEソルバのトレーニングダイナミクスについて検討する。 統一分割(PoU)と分散スケーリング(VS)という2つの手法が有効ランクを高めていることがわかった。 PINNやDeep Ritz、オペレータ学習フレームワークのDeepOnetなど、人気のあるPDE解決フレームワークを使用した実験では、これらのテクニックが収束を継続的に加速することを確認した。
  論文  参考訳（メタデータ） (2024-10-08T19:35:19Z)
• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [60.58067866537143]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• Error Analysis of Three-Layer Neural Network Trained with PGD for Deep Ritz Method [7.723218675113336]
  我々はディープ・リッツ法(英語版)の枠組み内に3層タンニューラルネットを用い、二階楕円方程式を解く。 我々は3層ネットワークをトレーニングするために、予測勾配降下を行い、そのグローバル収束を確立する。 サンプルサイズ$n$の誤差を提示し、ネットワーク深さ、幅、ステップサイズ、および予測勾配降下アルゴリズムの反復数の設定方法についてのガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-05-19T05:07:09Z)
• GIT-Net: Generalized Integral Transform for Operator Learning [58.13313857603536]
  本稿では、部分微分方程式(PDE)演算子を近似するディープニューラルネットワークアーキテクチャであるGIT-Netを紹介する。 GIT-Netは、PDEを定義するためによく使われる微分作用素が、特殊機能基底で表現されるときに、しばしば同義的に表現されるという事実を利用する。 数値実験により、GIT-Netは競争力のあるニューラルネットワーク演算子であり、様々なPDE問題に対して小さなテストエラーと低い評価を示すことが示された。
  論文  参考訳（メタデータ） (2023-12-05T03:03:54Z)
• PDE+: Enhancing Generalization via PDE with Adaptive Distributional Diffusion [66.95761172711073]
  ニューラルネットワークの一般化は、機械学習における中心的な課題です。 本稿では、入力データを調整することに集中するのではなく、ニューラルネットワークの基盤機能を直接拡張することを提案する。 私たちはこの理論的フレームワークを、$textbfPDE+$$textbfPDE$ with $textbfA$daptive $textbfD$istributional $textbfD$iffusionとして実践しました。
  論文  参考訳（メタデータ） (2023-05-25T08:23:26Z)
• Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural Network Derivatives [13.300625539460217]
  本稿では, ほぼ最適なVapnik-Chervonenkis次元(VC次元)の問題とディープニューラルネットワーク(DNN)の導関数の擬次元推定について述べる。 この2つの重要な応用は,1) ソボレフ空間におけるDNNのほぼ密近似値の確立,2) 関数導関数を含む損失関数を持つ機械学習手法の一般化誤差のキャラクタリゼーションである。
  論文  参考訳（メタデータ） (2023-05-15T09:10:12Z)
• Deep Operator Learning Lessens the Curse of Dimensionality for PDEs [11.181533339111853]
  本稿では, DNN を用いたバナッハ空間上のリプシッツ演算子学習の一般化誤差と様々な PDE 解演算子への応用を推定する。 データ分布や演算子構造を軽度に仮定すると、深層演算子学習はPDEの離散化分解能に緩やかに依存する可能性がある。
  論文  参考訳（メタデータ） (2023-01-28T15:35:52Z)
• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Generic bounds on the approximation error for physics-informed (and) operator learning [7.6146285961466]
  本稿では,物理インフォームドニューラルネットワーク(PINN)とDeepONetsやFNOといった演算子学習アーキテクチャの近似誤差の厳密な境界を導出するフレームワークを提案する。 これらの境界は、PINNと(物理インフォームド)ディープノネットやFNOが、一般偏微分方程式(PDE)の根底にある解や解作用素を効率的に近似することを保証している。
  論文  参考訳（メタデータ） (2022-05-23T15:40:33Z)
• Towards Size-Independent Generalization Bounds for Deep Operator Nets [0.3072340427031969]
  物理インフォームド機械学習」は、微分方程式を数値的に解くためにニューラルネットワークを使うことに焦点を当てている。 我々は,DeepONetsのトレーニング中にサンプル外誤差を測定する理論を推し進めることを目指している。 We show how the Huber loss can be chosen to for these DeepONet class for generalization error bounds can be obtained。
  論文  参考訳（メタデータ） (2022-05-23T14:45:34Z)
• Multi-resolution partial differential equations preserved learning framework for spatiotemporal dynamics [11.981731023317945]
  物理インフォームドディープラーニング(PiDL)は、物理原理をモデルに組み込むことによって、これらの課題に対処する。 我々は、ニューラルネットワークアーキテクチャに離散化された支配方程式を焼いて、物理の事前知識を活用することを提案する。 離散化されたPDEを畳み込み残差ネットワークを介して多分解能設定に埋め込むことにより、一般化可能性と長期予測を大幅に改善する。
  論文  参考訳（メタデータ） (2022-05-09T01:27:58Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Improved architectures and training algorithms for deep operator networks [0.0]
  演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
  論文  参考訳（メタデータ） (2021-10-04T18:34:41Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。