論文の概要: Capacity Bounds for the DeepONet Method of Solving Differential Equations

• arxiv url: http://arxiv.org/abs/2205.11359v1
• Date: Mon, 23 May 2022 14:45:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 04:08:27.793605
• Title: Capacity Bounds for the DeepONet Method of Solving Differential Equations
• Title（参考訳）: 微分方程式を解くDeepONet法における容量境界
• Authors: Pulkit Gopalani, Sayar Karmakar and Anirbit Mukherjee
• Abstract要約: 物理インフォームド機械学習」は、微分方程式を数値的に解くためにニューラルネットワークを使うことに焦点を当てている。 本稿では,DeepONets の一般化誤差理論を推し進める。 私たちの重要な貢献は、DeepONetsの大規模なクラスに対するRademacherの複雑さに限界を与えることです。
• 参考スコア（独自算出の注目度）: 0.6445605125467572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent times machine learning methods have made significant advances in becoming a useful tool for analyzing physical systems. A particularly active area in this theme has been "physics informed machine learning" [1] which focuses on using neural nets for numerically solving differential equations. Among all the proposals for solving differential equations using deep-learning, in this paper we aim to advance the theory of generalization error for DeepONets - which is unique among all the available ideas because of its particularly intriguing structure of having an inner-product of two neural nets. Our key contribution is to give a bound on the Rademacher complexity for a large class of DeepONets. Our bound does not explicitly scale with the number of parameters of the nets involved and is thus a step towards explaining the efficacy of overparameterized DeepONets. Additionally, a capacity bound such as ours suggests a novel regularizer on the neural net weights that can help in training DeepONets - irrespective of the differential equation being solved. [1] G. E. Karniadakis, I. G. Kevrekidis, L. Lu, P. Perdikaris, S. Wang, and L. Yang. Physics-informed machine learning. Nature Reviews Physics, 2021.
• Abstract（参考訳）: 近年、機械学習手法は、物理システム分析に有用なツールとなるために大きな進歩を遂げている。 このテーマの特に活発な領域は、微分方程式を数値的に解くためにニューラルネットワークを使うことに焦点を当てた"physics informed machine learning"[1]である。 本稿では,深層学習を用いた微分方程式の解法に関する提案の中で,2つのニューラルネットの内積を持つという興味をそそる構造から,deeponets の一般化誤差の理論を前進させることを目的としている。 我々の重要な貢献は、大量のdeeponetsのrademacherの複雑さに限界を与えることです。 我々の境界は、関係するネットのパラメータ数と明示的にスケールしないので、過パラメータ化されたDeepONetsの有効性を説明するためのステップである。 さらに、我々のような容量境界は、微分方程式が解かれているにもかかわらず、ディープネッツの訓練に役立つニューラルネット重みの新たな正規化子を提案する。 [1] G. E. Karniadakis, I. G. Kevrekidis, L. Lu, P. Perdikaris, S. Wang, L. Yang。 物理インフォームド・機械学習。 自然誌『物理学』2021年。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• DeepONet for Solving PDEs: Generalization Analysis in Sobolev Training [2.44755919161855]
  偏微分方程式(PDE)の解法における演算子学習,特にDeepONetの適用について検討する。 本稿では,ソボレフトレーニングにおけるDeepONetの性能に着目し,ディープブランチとトランクネットワークの近似能力とソボレフノルムの一般化誤差の2つの重要な問題に対処する。
  論文  参考訳（メタデータ） (2024-10-06T03:43:56Z)
• Separable DeepONet: Breaking the Curse of Dimensionality in Physics-Informed Machine Learning [0.0]
  ラベル付きデータセットがない場合、PDE残留損失を利用して物理系を学習する。 この手法は、主に次元の呪いによる重要な計算課題に直面するが、計算コストは、より詳細な離散化とともに指数関数的に増加する。 本稿では,これらの課題に対処し,高次元PDEのスケーラビリティを向上させるために,分離可能なDeepONetフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-07-21T16:33:56Z)
• Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
  定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:34:57Z)
• Deep Operator Learning Lessens the Curse of Dimensionality for PDEs [11.181533339111853]
  本稿では, DNN を用いたバナッハ空間上のリプシッツ演算子学習の一般化誤差と様々な PDE 解演算子への応用を推定する。 データ分布や演算子構造を軽度に仮定すると、深層演算子学習はPDEの離散化分解能に緩やかに依存する可能性がある。
  論文  参考訳（メタデータ） (2023-01-28T15:35:52Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Improved architectures and training algorithms for deep operator networks [0.0]
  演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
  論文  参考訳（メタデータ） (2021-10-04T18:34:41Z)
• Towards Interpretable Deep Networks for Monocular Depth Estimation [78.84690613778739]
  我々は,深部MDEネットワークの解釈可能性について,その隠蔽ユニットの深さ選択性を用いて定量化する。 本稿では,解釈可能なMDE深層ネットワークを,元のアーキテクチャを変更することなく学習する手法を提案する。 実験により,本手法は深部MDEネットワークの解釈可能性を向上させることができることが示された。
  論文  参考訳（メタデータ） (2021-08-11T16:43:45Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning the solution operator of parametric partial differential equations with physics-informed DeepOnets [0.0]
  ディープ作用素ネットワーク(DeepONets)は、無限次元バナッハ空間間の非線形作用素を近似する実証能力によって注目されている。 DeepOnetモデルの出力をバイアスする効果的な正規化メカニズムを導入し、物理整合性を確保する新しいモデルクラスを提案する。 我々は,このシンプルかつ極めて効果的な拡張が,DeepOnetsの予測精度を大幅に向上するだけでなく,大規模なトレーニングデータセットの必要性を大幅に低減できることを示した。
  論文  参考訳（メタデータ） (2021-03-19T18:15:42Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。