論文の概要: Optimal Convergence Rates for Neural Operators

• arxiv url: http://arxiv.org/abs/2412.17518v1
• Date: Mon, 23 Dec 2024 12:31:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:42.310662
• Title: Optimal Convergence Rates for Neural Operators
• Title（参考訳）: ニューラル演算子の最適収束率
• Authors: Mike Nguyen, Nicole Mücke,
• Abstract要約: 我々は、隠れたニューロンの数と一般化に必要な第2段階のサンプルの数に制限を与える。 ニューラル作用素のキーとなる応用は、偏微分方程式の解作用素に対する代理写像の学習である。
• 参考スコア（独自算出の注目度）: 2.9388890036358104
• License:
• Abstract: We introduce the neural tangent kernel (NTK) regime for two-layer neural operators and analyze their generalization properties. For early-stopped gradient descent (GD), we derive fast convergence rates that are known to be minimax optimal within the framework of non-parametric regression in reproducing kernel Hilbert spaces (RKHS). We provide bounds on the number of hidden neurons and the number of second-stage samples necessary for generalization. To justify our NTK regime, we additionally show that any operator approximable by a neural operator can also be approximated by an operator from the RKHS. A key application of neural operators is learning surrogate maps for the solution operators of partial differential equations (PDEs). We consider the standard Poisson equation to illustrate our theoretical findings with simulations.
• Abstract（参考訳）: 本稿では,2層型ニューラル演算子に対するニューラル・タンジェント・カーネル(NTK)レギュレーションを導入し,その一般化特性を解析する。 初期停止勾配降下 (GD) に対して、再生されたカーネルヒルベルト空間 (RKHS) における非パラメトリック回帰の枠組みの中で、最小限の収束速度を導出する。 我々は、隠れたニューロンの数と一般化に必要な第2段階のサンプルの数に制限を与える。 NTK体制を正当化するために、ニューラル演算子によって近似可能な任意の演算子も、RKHSの演算子によって近似できることを示す。 ニューラル作用素のキーとなる応用は、偏微分方程式(PDE)の解作用素に対する代理写像の学習である。 標準的なポアソン方程式をシミュレーションによる理論的な結果を示すものとして考察する。

関連論文リスト

• Score-based Neural Ordinary Differential Equations for Computing Mean Field Control Problems [13.285775352653546]
  本稿では,ディープニューラルネットワークに基づく一階および二階のスコア関数を表すニューラルディファレンシャル方程式のシステムを提案する。 本研究では,個々の雑音に対する平均粘性場制御(MFC)問題を,提案したニューラルODEシステムによって構成された制約のない最適化問題に再構成する。
  論文  参考訳（メタデータ） (2024-09-24T21:45:55Z)
• Kernel Neural Operators (KNOs) for Scalable, Memory-efficient, Geometrically-flexible Operator Learning [15.050519590538634]
  Kernel Neural Operator (KNO)は、新しい演算子学習技術である。 ディープカーネルベースの積分演算子と、作用素の関数空間近似のための二次演算子を併用する。 KNOは、低メモリ、幾何学的に柔軟な深層演算子学習の新しいパラダイムである。
  論文  参考訳（メタデータ） (2024-06-30T19:28:12Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• How many Neurons do we need? A refined Analysis for Shallow Networks trained with Gradient Descent [0.0]
  ニューラル・タンジェント・カーネル・システムにおける2層ニューラルネットワークの一般化特性を解析した。 非パラメトリック回帰の枠組みにおいて、最小限最適であることが知られている収束の速い速度を導出する。
  論文  参考訳（メタデータ） (2023-09-14T22:10:28Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。