論文の概要: On the influence of over-parameterization in manifold based surrogates and deep neural operators

• arxiv url: http://arxiv.org/abs/2203.05071v1
• Date: Wed, 9 Mar 2022 22:27:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-11 15:43:48.166259
• Title: On the influence of over-parameterization in manifold based surrogates and deep neural operators
• Title（参考訳）: 多様体系サロゲートおよびディープニューラル作用素における過パラメータ化の影響について
• Authors: Katiana Kontolati, Somdatta Goswami, Michael D. Shields, George Em Karniadakis
• Abstract要約: 本稿では, 複雑な物理化学的プロセスのための高精度で一般化可能な近似器を構築するための2つの方法を示す。 まずm-PCEの拡張を提案し、入力関数と出力QoIの2つの別々の埋め込みによって形成された潜在空間間のマッピングを構築する。 我々は,m-PCEとDeepONetが相対出力マッピングの場合に比較できることを示す。 高度に非滑らかなダイナミクスを考慮すると、DeepONetは高い精度を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constructing accurate and generalizable approximators for complex physico-chemical processes exhibiting highly non-smooth dynamics is challenging. In this work, we propose new developments and perform comparisons for two promising approaches: manifold-based polynomial chaos expansion (m-PCE) and the deep neural operator (DeepONet), and we examine the effect of over-parameterization on generalization. We demonstrate the performance of these methods in terms of generalization accuracy by solving the 2D time-dependent Brusselator reaction-diffusion system with uncertainty sources, modeling an autocatalytic chemical reaction between two species. We first propose an extension of the m-PCE by constructing a mapping between latent spaces formed by two separate embeddings of input functions and output QoIs. To enhance the accuracy of the DeepONet, we introduce weight self-adaptivity in the loss function. We demonstrate that the performance of m-PCE and DeepONet is comparable for cases of relatively smooth input-output mappings. However, when highly non-smooth dynamics is considered, DeepONet shows higher accuracy. We also find that for m-PCE, modest over-parameterization leads to better generalization, both within and outside of distribution, whereas aggressive over-parameterization leads to over-fitting. In contrast, an even highly over-parameterized DeepONet leads to better generalization for both smooth and non-smooth dynamics. Furthermore, we compare the performance of the above models with another operator learning model, the Fourier Neural Operator, and show that its over-parameterization also leads to better generalization. Our studies show that m-PCE can provide very good accuracy at very low training cost, whereas a highly over-parameterized DeepONet can provide better accuracy and robustness to noise but at higher training cost. In both methods, the inference cost is negligible.
• Abstract（参考訳）: 非滑らかな力学を示す複雑な物理化学過程に対する正確で一般化可能な近似器の構築は困難である。 本研究では,多様体型多項式カオス展開 (m-PCE) とディープニューラル演算子 (DeepONet) の2つの新しい展開と比較を行い,オーバーパラメータ化が一般化に与える影響について検討する。 2次元時間依存反応拡散系を不確実性源で解き、2種間の自己触媒化学反応をモデル化し、一般化精度の観点からこれらの手法の性能を示す。 まず、入力関数と出力QoIの2つの別々の埋め込みによって形成された潜在空間間のマッピングを構築することで、m-PCEの拡張を提案する。 DeepONetの精度を高めるために、損失関数に重み自己適応性を導入する。 我々はm-PCEとDeepONetの性能が比較的スムーズな入出力マッピングの場合と同等であることを示した。 しかし、非滑らかなダイナミクスを考慮すると、DeepONetは高い精度を示す。 また,m-PCEの場合,過度な過パラメータ化は分布内および外部の両方において,より一般化され,一方,積極的な過パラメータ化は過適合となる。 対照的に、超過パラメータのdeeponetは滑らかと非スムースの両方のダイナミクスのより優れた一般化をもたらす。 さらに、上記のモデルの性能を別の演算子学習モデルであるフーリエニューラル演算子と比較し、その過度パラメータ化がより良い一般化をもたらすことを示す。 実験の結果,m-PCEは非常に低いトレーニングコストで高い精度が得られるのに対し,過度にパラメータ化されたDeepONetは高いトレーニングコストでより精度と堅牢性が得られることがわかった。 どちらの方法でも、推論コストは無視できる。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Deep Latent Force Models: ODE-based Process Convolutions for Bayesian Deep Learning [0.0]
  深潜力モデル (DLFM) は、各層に物理インフォームドカーネルを持つ深いガウス過程である。 我々はDLFMの非線形実世界の時系列データに現れるダイナミクスを捉える能力の実証的証拠を提示する。 DLFMは,非物理インフォームド確率モデルに匹敵する性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-11-24T19:55:57Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Subsurface Characterization using Ensemble-based Approaches with Deep Generative Models [2.184775414778289]
  逆モデリングは、計算コストとスパースデータセットによる予測精度の低下により、不適切な高次元アプリケーションに限られる。 Wasserstein Geneversarative Adrial Network と Gradient Penalty (WGAN-GP) と Ensemble Smoother を多重データ同化 (ES-MDA) と組み合わせる。 WGAN-GPは低次元の潜伏空間から高次元K場を生成するために訓練され、ES-MDAは利用可能な測定値を同化することにより潜伏変数を更新する。
  論文  参考訳（メタデータ） (2023-10-02T01:27:10Z)
• Towards Convergence Rates for Parameter Estimation in Gaussian-gated Mixture of Experts [40.24720443257405]
  ガウスゲートMOEモデルにおける最大推定値(MLE)の収束解析を行う。 以上の結果から,MLEはガウスゲーティング関数の位置パラメータの2つの相補的な設定の下で異なる挙動を示すことが明らかとなった。 特に、これらの挙動は2つの異なる方程式系の可解性によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-05-12T16:02:19Z)
• Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach [0.0]
  教師なしおよび半教師なしのML手法は、物理学、化学、材料科学の様々な分野に広く採用されている。 教師なしおよび半教師付きMLに対するハイパーパラメータ軌道最適化のための潜在ベイズ最適化(zBO)手法を提案する。 本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
  論文  参考訳（メタデータ） (2022-06-30T23:41:47Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。