論文の概要: Learning Lipschitz Operators with respect to Gaussian Measures with Near-Optimal Sample Complexity

• arxiv url: http://arxiv.org/abs/2410.23440v1
• Date: Wed, 30 Oct 2024 20:32:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:59:32.490773
• Title: Learning Lipschitz Operators with respect to Gaussian Measures with Near-Optimal Sample Complexity
• Title（参考訳）: ほぼ最適サンプル複素数を持つガウス測度に関するリプシッツ作用素の学習
• Authors: Ben Adcock, Michael Griebel, Gregor Maier,
• Abstract要約: ガウス測度に関して,リプシッツ作用素の近似を期待して検討する。 鍵となる発見は、$m$という最小の達成可能な(適応的な)サンプリングと再構成マップの厳密な特徴づけである。 ほぼ最適サンプルの複雑性を確実に達成するアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 1.037768322019687
• License:
• Abstract: Operator learning, the approximation of mappings between infinite-dimensional function spaces using ideas from machine learning, has gained increasing research attention in recent years. Approximate operators, learned from data, hold promise to serve as efficient surrogate models for problems in computational science and engineering, complementing traditional numerical methods. However, despite their empirical success, our understanding of the underpinning mathematical theory is in large part still incomplete. In this paper, we study the approximation of Lipschitz operators in expectation with respect to Gaussian measures. We prove higher Gaussian Sobolev regularity of Lipschitz operators and establish lower and upper bounds on the Hermite polynomial approximation error. We further consider the reconstruction of Lipschitz operators from $m$ arbitrary (adaptive) linear samples. A key finding is the tight characterization of the smallest achievable error for all possible (adaptive) sampling and reconstruction maps in terms of $m$. It is shown that Hermite polynomial approximation is an optimal recovery strategy, but we have the following curse of sample complexity: No method to approximate Lipschitz operators based on finitely many samples can achieve algebraic convergence rates in $m$. On the positive side, we prove that a sufficiently fast spectral decay of the covariance operator of the Gaussian measure guarantees convergence rates which are arbitrarily close to any algebraic rate in the large data limit $m \to \infty$. Finally, we focus on the recovery of Lipschitz operators from finitely many point samples. We consider Christoffel sampling and weighted least-squares approximation, and present an algorithm which provably achieves near-optimal sample complexity.
• Abstract（参考訳）: 機械学習のアイデアを用いた無限次元関数空間間の写像の近似である演算子学習は近年研究の注目を集めている。 データから学んだ近似演算子は、計算科学と工学の問題に対する効率的な代理モデルとして機能し、従来の数値法を補完することを約束している。 しかし、その実証的な成功にもかかわらず、基礎となる数学的理論に対する我々の理解はいまだに不完全である。 本稿では,ガウス測度に関して,リプシッツ作用素の近似を期待して検討する。 リプシッツ作用素のガウス的ソボレフ正則性を証明し、エルミート多項式近似誤差の上下境界を確立する。 さらに、$m$任意の(適応的な)線型サンプルからリプシッツ作用素の再構成を考える。 鍵となる発見は、可能なすべての(適応的な)サンプリングおよび再構成マップに対して、$m$という最小の達成可能な誤差をきつく特徴づけることである。 エルミート多項式近似は最適回復戦略であるが、サンプル複雑性の呪いがある: 有限個のサンプルに基づいてリプシッツ作用素を近似する方法は、$m$の代数収束率を達成できない。 正の面において、ガウス測度の共分散作用素の十分に高速なスペクトル崩壊は、大容量データ極限$m \to \infty$の任意の代数的速度に任意に近い収束速度を保証することを証明している。 最後に、有限個の点標本からリプシッツ作用素の回復に焦点を当てる。 Christoffelサンプリングと重み付き最小二乗近似を考察し、ほぼ最適サンプル複雑性を確実に達成するアルゴリズムを提案する。

関連論文リスト

• Operator Learning of Lipschitz Operators: An Information-Theoretic Perspective [2.375038919274297]
  この研究は、リプシッツ連続作用素の一般クラスに対する神経作用素近似の複雑さに対処する。 我々の主な貢献は、2つの近似設定におけるリプシッツ作用素の計量エントロピーの低い境界を確立することである。 使用したアクティベーション関数にかかわらず、近似精度が$epsilon$に達する神経オペレーターアーキテクチャは、$epsilon-1$で指数関数的に大きいサイズでなければならない。
  論文  参考訳（メタデータ） (2024-06-26T23:36:46Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• A Stochastic Proximal Method for Nonsmooth Regularized Finite Sum Optimization [7.014966911550542]
  スパースサブ構造を検索するために,非滑らかな正規化を伴うディープニューラルネットワークをトレーニングする問題を考察する。 我々は、収束と最悪のケースの複雑さが勾配のリプシッツ定数の知識や近似なしで確立されるSR2と呼ばれる新しい解法を導出する。 CIFAR-10とCIFAR-100で訓練されたネットワークインスタンスの実験により、SR2はProxGENやProxSGDのような関連する手法よりも常に高い空間性と精度を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-14T00:28:44Z)
• On efficient algorithms for computing near-best polynomial approximations to high-dimensional, Hilbert-valued functions from limited samples [1.0650780147044159]
  スパース近似は、限られたサンプルから滑らかで高次元の関数を近似するのに欠かせないものとなっている。 本稿では,指数的あるいは代数的収束率を主張するアルゴリズムと理論的保証と,サンプリング,アルゴリズム的,物理的離散化誤差に対する頑健性を紹介する。
  論文  参考訳（メタデータ） (2022-03-25T20:56:07Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Functions with average smoothness: structure, algorithms, and learning [12.362670630646804]
  各点における局所勾配を定義し、これらの値の平均として関数複雑性を測る。 平均は最大よりも劇的に小さくなるので、この複雑性測度はよりシャープな一般化境界が得られる。 私たちは定義した関数クラスにおいて驚くほどリッチで解析的な構造を発見します。
  論文  参考訳（メタデータ） (2020-07-13T10:06:58Z)
• Composite Logconcave Sampling with a Restricted Gaussian Oracle [23.781520510778716]
  dpi(x) propto exp(-f(x) - g(x)dx)$ for well-conditioned $f$ and convex (しかし、おそらくは非滑らか) $g$ である。 for $f$ with condition number $kappa$, our algorithm run in $O left(kappa2 d log2tfrackappa depsilonright)$, each querying a gradient of $f$
  論文  参考訳（メタデータ） (2020-06-10T17:43:55Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
  一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。 我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。 我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
  論文  参考訳（メタデータ） (2020-05-21T17:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。