論文の概要: Improved architectures and training algorithms for deep operator networks

• arxiv url: http://arxiv.org/abs/2110.01654v1
• Date: Mon, 4 Oct 2021 18:34:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 14:17:00.744541
• Title: Improved architectures and training algorithms for deep operator networks
• Title（参考訳）: ディープオペレータネットワークのためのアーキテクチャとトレーニングアルゴリズムの改良
• Authors: Sifan Wang, Hanwen Wang, Paris Perdikaris
• Abstract要約: 演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Operator learning techniques have recently emerged as a powerful tool for learning maps between infinite-dimensional Banach spaces. Trained under appropriate constraints, they can also be effective in learning the solution operator of partial differential equations (PDEs) in an entirely self-supervised manner. In this work we analyze the training dynamics of deep operator networks (DeepONets) through the lens of Neural Tangent Kernel (NTK) theory, and reveal a bias that favors the approximation of functions with larger magnitudes. To correct this bias we propose to adaptively re-weight the importance of each training example, and demonstrate how this procedure can effectively balance the magnitude of back-propagated gradients during training via gradient descent. We also propose a novel network architecture that is more resilient to vanishing gradient pathologies. Taken together, our developments provide new insights into the training of DeepONets and consistently improve their predictive accuracy by a factor of 10-50x, demonstrated in the challenging setting of learning PDE solution operators in the absence of paired input-output observations. All code and data accompanying this manuscript are publicly available at \url{https://github.com/PredictiveIntelligenceLab/ImprovedDeepONets.}
• Abstract（参考訳）: 演算子学習技術は,無限次元バナッハ空間間の写像を学習するための強力なツールとして最近登場した。 適切な制約の下で訓練され、偏微分方程式(pdes)の解作用素を完全に自己教師付きで学習するのに有効である。 本研究では,ニューラル・タンジェント・カーネル(ntk)理論のレンズを通して,ディープ・オペレータ・ネットワーク(deeponets)のトレーニングダイナミクスを分析し,大きな大きさの関数の近似を好むバイアスを明らかにする。 このバイアスを正すために,各トレーニング例の重要性を適応的に再重み付けし,勾配降下によるトレーニング中のバックプロパゲーション勾配の大きさを効果的にバランスさせる方法を提案する。 また,勾配病理の消失に対してよりレジリエントな新しいネットワークアーキテクチャを提案する。 本研究は、DeepONetsのトレーニングに関する新たな知見を提供し、10～50倍の精度で予測精度を継続的に向上させ、ペア・インプット・アウトプットの観測が欠如しているPDEソリューション演算子を学習することの難しさを実証した。 この原稿に付随するコードとデータは、 \url{https://github.com/PredictiveIntelligenceLab/ImprovedDeepONetsで公開されている。 }

関連論文リスト

• DeepOSets: Non-Autoregressive In-Context Learning of Supervised Learning Operators [11.913853433712855]
  コンテキスト内演算子学習により、トレーニングされた機械学習モデルは、さらなるトレーニングをすることなく、ユーザのプロンプトから学習することができる。 DeepOSetsはDeepSetsアーキテクチャと組み合わせることで、Deep Operator Networks(DeepONets)にコンテキスト内学習機能を追加する。 コンテキスト内演算子学習のための最初の非自動回帰モデルとして、DeepOSetsはユーザのプロンプトを並列に処理できるようにする。
  論文  参考訳（メタデータ） (2024-10-11T23:07:19Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Accelerated replica exchange stochastic gradient Langevin diffusion enhanced Bayesian DeepONet for solving noisy parametric PDEs [7.337247167823921]
  本稿では,DeepONetsのニューラルネットワークアーキテクチャを利用したレプリカ交換型Langevin拡散のトレーニングフレームワークを提案する。 提案するフレームワークの探索と活用機能により,ノイズの多いシナリオにおけるDeepONetsのトレーニング収束性の向上が期待できることを示す。 また,レプリカ交換型Langeving Diffusionにより,雑音のシナリオにおけるDeepONetの平均予測精度も向上することを示す。
  論文  参考訳（メタデータ） (2021-11-03T19:23:59Z)
• Analytically Tractable Bayesian Deep Q-Learning [0.0]
  我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。 我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
  論文  参考訳（メタデータ） (2021-06-21T13:11:52Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Learning the Travelling Salesperson Problem Requires Rethinking Generalization [9.176056742068813]
  トラベリングセールスパーソン問題(TSP)のようなグラフ最適化問題に対するニューラルネットワークソルバのエンドツーエンドトレーニングは近年,関心が高まっている。 最先端の学習駆動アプローチは、自明に小さなサイズで訓練された場合、古典的な解法と密接に関係するが、実践的な規模で学習ポリシーを大規模に一般化することはできない。 この研究は、トレーニングで見られるものよりも大きいインスタンスへの一般化を促進する、原則化されたバイアス、モデルアーキテクチャ、学習アルゴリズムを特定するために、最近の論文を統一するエンドツーエンドのニューラルネットワークパイプラインを提示している。
  論文  参考訳（メタデータ） (2020-06-12T10:14:15Z)
• Optimizing Neural Networks via Koopman Operator Theory [6.09170287691728]
  クープマン作用素理論は近年、ニューラルネットワーク理論と密接に関連していることが示されている。 この作業では、この接続を利用するための第一歩を踏み出します。 クープマン作用素理論法は、非自明な訓練時間の範囲で、供給重みの重みと偏りの予測を可能にする。
  論文  参考訳（メタデータ） (2020-06-03T16:23:07Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。