論文の概要: Towards Size-Independent Generalization Bounds for Deep Operator Nets

• arxiv url: http://arxiv.org/abs/2205.11359v2
• Date: Mon, 22 Jan 2024 18:01:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 00:25:50.851984
• Title: Towards Size-Independent Generalization Bounds for Deep Operator Nets
• Title（参考訳）: 深部演算子ネットのためのサイズ非依存な一般化境界を目指して
• Authors: Pulkit Gopalani, Sayar Karmakar, Dibyakanti Kumar and Anirbit Mukherjee
• Abstract要約: 物理インフォームド機械学習」は、微分方程式を数値的に解くためにニューラルネットワークを使うことに焦点を当てている。 我々は,DeepONetsのトレーニング中にサンプル外誤差を測定する理論を推し進めることを目指している。 We show how the Huber loss can be chosen to for these DeepONet class for generalization error bounds can be obtained。
• 参考スコア（独自算出の注目度）: 0.3072340427031969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent times machine learning methods have made significant advances in becoming a useful tool for analyzing physical systems. A particularly active area in this theme has been "physics-informed machine learning" which focuses on using neural nets for numerically solving differential equations. In this work, we aim to advance the theory of measuring out-of-sample error while training DeepONets -- which is among the most versatile ways to solve PDE systems in one-shot. Firstly, for a class of DeepONets, we prove a bound on their Rademacher complexity which does not explicitly scale with the width of the nets involved. Secondly, we use this to show how the Huber loss can be chosen so that for these DeepONet classes generalization error bounds can be obtained that have no explicit dependence on the size of the nets. We note that our theoretical results apply to any PDE being targeted to be solved by DeepONets.
• Abstract（参考訳）: 近年、機械学習手法は、物理システム分析に有用なツールとなるために大きな進歩を遂げている。 このテーマの特に活発な分野は、微分方程式を数値的に解くためにニューラルネットワークを使うことに焦点を当てた「物理インフォームド機械学習」である。 本研究では,1ショットでPDEシステムを解く最も汎用的な方法の一つであるDeepONetsを訓練しながら,サンプル外誤差を測定する理論を前進させることを目的とする。 まず、DeepONets のクラスに対して、関係するネットの幅と明示的にスケールしないRademacher の複雑さを証明します。 次に、これらのDeepONetクラスに対して、ネットのサイズに明示的に依存しない一般化エラー境界が得られるように、Huber損失をどのように選択できるかを示す。 我々は、DeepONetsによって解決されることを目標とするPDEに対して、我々の理論的結果が適用されることに留意する。

関連論文リスト

• Generalization Analysis for Deep Contrastive Representation Learning [32.56004424242989]
  本稿では,Deep Contrastive Representation Learningフレームワークにおける教師なしリスクの限界について述べる。 我々は損失増大手法を用いて、行列ノルムへの依存性とネットワーク深さへの暗黙的依存を減らす。
  論文  参考訳（メタデータ） (2024-12-16T17:40:05Z)
• DeepONet for Solving Nonlinear Partial Differential Equations with Physics-Informed Training [2.44755919161855]
  非線形偏微分方程式(PDE)の解法における演算子学習、特にDeepONetの利用について検討する。 本研究では,物理インフォームドトレーニングにおけるDeepONetの性能について検討し,(1)ディープブランチとトランクネットワークの近似能力,(2)ソボレフノルムの一般化誤差の2点に着目した。
  論文  参考訳（メタデータ） (2024-10-06T03:43:56Z)
• On the Role of Initialization on the Implicit Bias in Deep Linear Networks [8.272491066698041]
  本研究は,遊びにおける暗黙の偏見に起因する現象を探索することに焦点を当てた。 ステップサイズ、重み初期化、最適化アルゴリズム、パラメータ数など、暗黙バイアスの様々な情報源が特定されている。
  論文  参考訳（メタデータ） (2024-02-04T11:54:07Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization [48.26492774959634]
  線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。 我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
  論文  参考訳（メタデータ） (2022-11-24T13:50:16Z)
• Improved architectures and training algorithms for deep operator networks [0.0]
  演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
  論文  参考訳（メタデータ） (2021-10-04T18:34:41Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。