論文の概要: Capacity Bounds for the DeepONet Method of Solving Differential Equations

• arxiv url: http://arxiv.org/abs/2205.11359v1
• Date: Mon, 23 May 2022 14:45:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 04:08:27.793605
• Title: Capacity Bounds for the DeepONet Method of Solving Differential Equations
• Title（参考訳）: 微分方程式を解くDeepONet法における容量境界
• Authors: Pulkit Gopalani, Sayar Karmakar and Anirbit Mukherjee
• Abstract要約: 物理インフォームド機械学習」は、微分方程式を数値的に解くためにニューラルネットワークを使うことに焦点を当てている。 本稿では,DeepONets の一般化誤差理論を推し進める。 私たちの重要な貢献は、DeepONetsの大規模なクラスに対するRademacherの複雑さに限界を与えることです。
• 参考スコア（独自算出の注目度）: 0.6445605125467572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent times machine learning methods have made significant advances in becoming a useful tool for analyzing physical systems. A particularly active area in this theme has been "physics informed machine learning" [1] which focuses on using neural nets for numerically solving differential equations. Among all the proposals for solving differential equations using deep-learning, in this paper we aim to advance the theory of generalization error for DeepONets - which is unique among all the available ideas because of its particularly intriguing structure of having an inner-product of two neural nets. Our key contribution is to give a bound on the Rademacher complexity for a large class of DeepONets. Our bound does not explicitly scale with the number of parameters of the nets involved and is thus a step towards explaining the efficacy of overparameterized DeepONets. Additionally, a capacity bound such as ours suggests a novel regularizer on the neural net weights that can help in training DeepONets - irrespective of the differential equation being solved. [1] G. E. Karniadakis, I. G. Kevrekidis, L. Lu, P. Perdikaris, S. Wang, and L. Yang. Physics-informed machine learning. Nature Reviews Physics, 2021.
• Abstract（参考訳）: 近年、機械学習手法は、物理システム分析に有用なツールとなるために大きな進歩を遂げている。 このテーマの特に活発な領域は、微分方程式を数値的に解くためにニューラルネットワークを使うことに焦点を当てた"physics informed machine learning"[1]である。 本稿では,深層学習を用いた微分方程式の解法に関する提案の中で,2つのニューラルネットの内積を持つという興味をそそる構造から,deeponets の一般化誤差の理論を前進させることを目的としている。 我々の重要な貢献は、大量のdeeponetsのrademacherの複雑さに限界を与えることです。 我々の境界は、関係するネットのパラメータ数と明示的にスケールしないので、過パラメータ化されたDeepONetsの有効性を説明するためのステップである。 さらに、我々のような容量境界は、微分方程式が解かれているにもかかわらず、ディープネッツの訓練に役立つニューラルネット重みの新たな正規化子を提案する。 [1] G. E. Karniadakis, I. G. Kevrekidis, L. Lu, P. Perdikaris, S. Wang, L. Yang。 物理インフォームド・機械学習。 自然誌『物理学』2021年。

関連論文リスト

• Generalization Analysis for Deep Contrastive Representation Learning [32.56004424242989]
  本稿では,Deep Contrastive Representation Learningフレームワークにおける教師なしリスクの限界について述べる。 我々は損失増大手法を用いて、行列ノルムへの依存性とネットワーク深さへの暗黙的依存を減らす。
  論文  参考訳（メタデータ） (2024-12-16T17:40:05Z)
• DeepONet for Solving Nonlinear Partial Differential Equations with Physics-Informed Training [2.44755919161855]
  非線形偏微分方程式(PDE)の解法における演算子学習、特にDeepONetの利用について検討する。 本研究では,物理インフォームドトレーニングにおけるDeepONetの性能について検討し,(1)ディープブランチとトランクネットワークの近似能力,(2)ソボレフノルムの一般化誤差の2点に着目した。
  論文  参考訳（メタデータ） (2024-10-06T03:43:56Z)
• On the Role of Initialization on the Implicit Bias in Deep Linear Networks [8.272491066698041]
  本研究は,遊びにおける暗黙の偏見に起因する現象を探索することに焦点を当てた。 ステップサイズ、重み初期化、最適化アルゴリズム、パラメータ数など、暗黙バイアスの様々な情報源が特定されている。
  論文  参考訳（メタデータ） (2024-02-04T11:54:07Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization [48.26492774959634]
  線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。 我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
  論文  参考訳（メタデータ） (2022-11-24T13:50:16Z)
• Improved architectures and training algorithms for deep operator networks [0.0]
  演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
  論文  参考訳（メタデータ） (2021-10-04T18:34:41Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。