論文の概要: Convergence analysis of wide shallow neural operators within the framework of Neural Tangent Kernel

• arxiv url: http://arxiv.org/abs/2412.05545v2
• Date: Fri, 27 Dec 2024 11:57:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:20:58.400271
• Title: Convergence analysis of wide shallow neural operators within the framework of Neural Tangent Kernel
• Title（参考訳）: ニューラルタンジェントカーネルの枠組みにおける幅の狭いニューラル演算子の収束解析
• Authors: Xianliang Xu, Ye Li, Zhongyi Huang,
• Abstract要約: ニューラルタンジェントカーネル(NTK)の枠組みにおける幅の狭いニューラル作用素の勾配降下の収束解析を行う。 過度なパラメータ化の設定の下で、勾配降下は連続時間であるか離散時間であるかに関わらず、大域的な最小値を見つけることができることを示した。
• 参考スコア（独自算出の注目度）: 4.313136216120379
• License:
• Abstract: Neural operators are aiming at approximating operators mapping between Banach spaces of functions, achieving much success in the field of scientific computing. Compared to certain deep learning-based solvers, such as Physics-Informed Neural Networks (PINNs), Deep Ritz Method (DRM), neural operators can solve a class of Partial Differential Equations (PDEs). Although much work has been done to analyze the approximation and generalization error of neural operators, there is still a lack of analysis on their training error. In this work, we conduct the convergence analysis of gradient descent for the wide shallow neural operators within the framework of Neural Tangent Kernel (NTK). The core idea lies on the fact that over-parameterization and random initialization together ensure that each weight vector remains near its initialization throughout all iterations, yielding the linear convergence of gradient descent. In this work, we demonstrate that under the setting of over-parametrization, gradient descent can find the global minimum regardless of whether it is in continuous time or discrete time. Finally, we briefly discuss the case of physics-informed shallow neural operators.
• Abstract（参考訳）: ニューラル演算子は、関数のバナッハ空間間の写像を近似することを目的としており、科学計算の分野で大きな成功を収めている。 物理Informed Neural Networks (PINN) やDeep Ritz Method (DRM) のようなディープラーニングベースの解法と比較して、ニューラルネットワークは部分微分方程式(PDE)のクラスを解くことができる。 ニューラル演算子の近似と一般化誤差を分析するために多くの研究がなされているが、そのトレーニング誤差についてはまだ分析されていない。 本研究では,ニューラル・タンジェント・カーネル(NTK)の枠組み内で,広い浅層ニューラル演算子の勾配降下の収束解析を行う。 中心的な考え方は、過パラメータ化とランダム初期化を共にすることで、各重みベクトルがすべての反復を通してその初期化に近づき、勾配降下の線型収束をもたらすという事実にある。 本研究では,過パラメトリゼーションの設定下において,勾配降下が連続時間であるか離散時間であるかに関わらず,大域的最小値を求めることができることを示す。 最後に,物理インフォームド浅部ニューラル演算子の事例について概説する。

関連論文リスト

• Optimal Convergence Rates for Neural Operators [2.9388890036358104]
  我々は、隠れたニューロンの数と一般化に必要な第2段階のサンプルの数に制限を与える。 ニューラル作用素のキーとなる応用は、偏微分方程式の解作用素に対する代理写像の学習である。
  論文  参考訳（メタデータ） (2024-12-23T12:31:38Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• How many Neurons do we need? A refined Analysis for Shallow Networks trained with Gradient Descent [0.0]
  ニューラル・タンジェント・カーネル・システムにおける2層ニューラルネットワークの一般化特性を解析した。 非パラメトリック回帰の枠組みにおいて、最小限最適であることが知られている収束の速い速度を導出する。
  論文  参考訳（メタデータ） (2023-09-14T22:10:28Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Approximate Bayesian Neural Operators: Uncertainty Quantification for Parametric PDEs [34.179984253109346]
  ニューラル作用素の'hallow'(線形)バージョンを数学的に詳細に定式化する。 次に、ベイズ深層学習の近似手法を用いて、この解析処理を一般のディープニューラル演算子に拡張する。 その結果, ニューラル演算子の予測に失敗するケースを同定し, 構造的不確実性推定を行うことができた。
  論文  参考訳（メタデータ） (2022-08-02T16:10:27Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• When and why PINNs fail to train: A neural tangent kernel perspective [2.1485350418225244]
  PINNのニューラルタンジェントカーネル(NTK)を導出し、適切な条件下では、無限幅極限でのトレーニング中に一定となる決定論的カーネルに収束することを示す。 学習誤差の総和に寄与する損失成分の収束率に顕著な差があることが判明した。 本研究では,NTKの固有値を用いて学習誤差の収束率を適応的に調整する勾配降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-28T23:44:56Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。