論文の概要: Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent

• arxiv url: http://arxiv.org/abs/2205.07331v2
• Date: Tue, 17 May 2022 04:21:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 11:06:27.960173
• Title: Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent
• Title（参考訳）: 勾配次数による楕円式学習におけるソボレフ加速と統計的最適性
• Authors: Yiping Lu, Jose Blanchet, Lexing Ying
• Abstract要約: 本研究では,無作為なサンプルノイズ観測から逆問題解くために,ソボレフの勾配降下ノルムの統計的限界について検討する。 我々の目的関数のクラスには、カーネル回帰のためのソボレフトレーニング、Deep Ritz Methods(DRM)、Physical Informed Neural Networks(PINN)が含まれる。
• 参考スコア（独自算出の注目度）: 11.483919798541393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the statistical limits in terms of Sobolev norms of gradient descent for solving inverse problem from randomly sampled noisy observations using a general class of objective functions. Our class of objective functions includes Sobolev training for kernel regression, Deep Ritz Methods (DRM), and Physics Informed Neural Networks (PINN) for solving elliptic partial differential equations (PDEs) as special cases. We consider a potentially infinite-dimensional parameterization of our model using a suitable Reproducing Kernel Hilbert Space and a continuous parameterization of problem hardness through the definition of kernel integral operators. We prove that gradient descent over this objective function can also achieve statistical optimality and the optimal number of passes over the data increases with sample size. Based on our theory, we explain an implicit acceleration of using a Sobolev norm as the objective function for training, inferring that the optimal number of epochs of DRM becomes larger than the number of PINN when both the data size and the hardness of tasks increase, although both DRM and PINN can achieve statistical optimality.
• Abstract（参考訳）: 本稿では,対象関数の一般クラスを用いて,ランダムにサンプリングされた雑音観測から逆問題を解くための勾配降下のソボレフノルムの観点からの統計的限界について検討する。 目的関数のクラスには,核回帰のためのsobolevトレーニング,ディープリッツ法(drm),および楕円偏微分方程式(pdes)を特別に解くための物理インフォームドニューラルネットワーク(pinn)が含まれる。 好適な再生カーネルヒルベルト空間と、カーネル積分作用素の定義による問題硬度連続パラメータ化を用いて、我々のモデルの潜在的無限次元パラメータ化を考える。 この目的関数上の勾配降下は、統計的最適性も達成でき、サンプルサイズに応じてデータに対する最適通過数も増加することが証明される。 本理論に基づき,データサイズとタスクの硬度が増加すると,drmの最適エポック数がピン数よりも大きくなることを仮定して,トレーニングの目的関数としてソボレフノルムを使用することによる暗黙の加速を説明する。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Semi-Supervised Deep Sobolev Regression: Estimation, Variable Selection and Beyond [3.782392436834913]
  本研究では,半教師付き深部ソボレフ回帰器であるSDOREを提案し,基礎となる回帰関数とその勾配を非パラメトリックに推定する。 我々は、SDOREの収束率を総合的に分析し、回帰関数の最小値の最適値を確立する。 また、重要なドメインシフトが存在する場合でも、関連するプラグイン勾配推定器の収束率を導出する。
  論文  参考訳（メタデータ） (2024-01-09T13:10:30Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood Estimation [2.53740603524637]
  我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。 特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。 特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。 時間的に一様で、粒子の数で増加しない方法で。
  論文  参考訳（メタデータ） (2023-03-23T16:50:08Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Rigorous dynamical mean field theory for stochastic gradient descent methods [17.90683687731009]
  一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。 これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
  論文  参考訳（メタデータ） (2022-10-12T21:10:55Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。