論文の概要: Towards Size-Independent Generalization Bounds for Deep Operator Nets

• arxiv url: http://arxiv.org/abs/2205.11359v3
• Date: Wed, 04 Dec 2024 17:37:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:05:34.311778
• Title: Towards Size-Independent Generalization Bounds for Deep Operator Nets
• Title（参考訳）: 深部演算子ネットのためのサイズ非依存な一般化境界を目指して
• Authors: Pulkit Gopalani, Sayar Karmakar, Dibyakanti Kumar, Anirbit Mukherjee,
• Abstract要約: 本研究は,DeepONetsのトレーニング中にサンプル外誤差を測定する理論を推し進めることを目的としている。 DeepONets のクラスでは、関係するネットの幅と明示的にスケールしない Rademacher の複雑性に制限があることを証明します。 We show how the Huber loss can be chosen to for these DeepONet class generalization error bounds can be obtained that have no explicit dependencies to the size of the nets。
• 参考スコア（独自算出の注目度）: 0.28123958518740544
• License:
• Abstract: In recent times machine learning methods have made significant advances in becoming a useful tool for analyzing physical systems. A particularly active area in this theme has been "physics-informed machine learning" which focuses on using neural nets for numerically solving differential equations. In this work, we aim to advance the theory of measuring out-of-sample error while training DeepONets - which is among the most versatile ways to solve P.D.E systems in one-shot. Firstly, for a class of DeepONets, we prove a bound on their Rademacher complexity which does not explicitly scale with the width of the nets involved. Secondly, we use this to show how the Huber loss can be chosen so that for these DeepONet classes generalization error bounds can be obtained that have no explicit dependence on the size of the nets. The effective capacity measure for DeepONets that we thus derive is also shown to correlate with the behavior of generalization error in experiments.
• Abstract（参考訳）: 近年、機械学習手法は、物理システム分析に有用なツールとなるために大きな進歩を遂げている。 このテーマの特に活発な分野は、微分方程式を数値的に解くためにニューラルネットワークを使うことに焦点を当てた「物理インフォームド・機械学習」である。 本研究では,1ショットでP.D.Eシステムを解く最も汎用的な方法の一つであるDeepONetsを訓練しながら,サンプル外誤差を測定する理論を推し進める。 まず、DeepONets のクラスに対して、関係するネットの幅と明示的にスケールしないRademacher の複雑さを証明します。 次に、これらのDeepONetクラスに対して、ネットのサイズに明示的に依存しない一般化エラー境界が得られるように、Huber損失をどのように選択できるかを示す。 私たちが導出したDeepONetsの有効容量測定は、実験における一般化誤差の挙動と相関することが示される。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• DeepONet for Solving PDEs: Generalization Analysis in Sobolev Training [2.44755919161855]
  偏微分方程式(PDE)の解法における演算子学習,特にDeepONetの適用について検討する。 本稿では,ソボレフトレーニングにおけるDeepONetの性能に着目し,ディープブランチとトランクネットワークの近似能力とソボレフノルムの一般化誤差の2つの重要な問題に対処する。
  論文  参考訳（メタデータ） (2024-10-06T03:43:56Z)
• Separable DeepONet: Breaking the Curse of Dimensionality in Physics-Informed Machine Learning [0.0]
  ラベル付きデータセットがない場合、PDE残留損失を利用して物理系を学習する。 この手法は、主に次元の呪いによる重要な計算課題に直面するが、計算コストは、より詳細な離散化とともに指数関数的に増加する。 本稿では,これらの課題に対処し,高次元PDEのスケーラビリティを向上させるために,分離可能なDeepONetフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-07-21T16:33:56Z)
• Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
  定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:34:57Z)
• Deep Operator Learning Lessens the Curse of Dimensionality for PDEs [11.181533339111853]
  本稿では, DNN を用いたバナッハ空間上のリプシッツ演算子学習の一般化誤差と様々な PDE 解演算子への応用を推定する。 データ分布や演算子構造を軽度に仮定すると、深層演算子学習はPDEの離散化分解能に緩やかに依存する可能性がある。
  論文  参考訳（メタデータ） (2023-01-28T15:35:52Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Improved architectures and training algorithms for deep operator networks [0.0]
  演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
  論文  参考訳（メタデータ） (2021-10-04T18:34:41Z)
• Towards Interpretable Deep Networks for Monocular Depth Estimation [78.84690613778739]
  我々は,深部MDEネットワークの解釈可能性について,その隠蔽ユニットの深さ選択性を用いて定量化する。 本稿では,解釈可能なMDE深層ネットワークを,元のアーキテクチャを変更することなく学習する手法を提案する。 実験により,本手法は深部MDEネットワークの解釈可能性を向上させることができることが示された。
  論文  参考訳（メタデータ） (2021-08-11T16:43:45Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning the solution operator of parametric partial differential equations with physics-informed DeepOnets [0.0]
  ディープ作用素ネットワーク(DeepONets)は、無限次元バナッハ空間間の非線形作用素を近似する実証能力によって注目されている。 DeepOnetモデルの出力をバイアスする効果的な正規化メカニズムを導入し、物理整合性を確保する新しいモデルクラスを提案する。 我々は,このシンプルかつ極めて効果的な拡張が,DeepOnetsの予測精度を大幅に向上するだけでなく,大規模なトレーニングデータセットの必要性を大幅に低減できることを示した。
  論文  参考訳（メタデータ） (2021-03-19T18:15:42Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。