論文の概要: Asymptotic Bounds for Smoothness Parameter Estimates in Gaussian Process Regression

• arxiv url: http://arxiv.org/abs/2203.05400v1
• Date: Thu, 10 Mar 2022 14:45:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-11 14:41:57.081319
• Title: Asymptotic Bounds for Smoothness Parameter Estimates in Gaussian Process Regression
• Title（参考訳）: ガウス過程回帰における滑らか度パラメータ推定のための漸近境界
• Authors: Toni Karvonen
• Abstract要約: マタン核の滑らか度パラメータは、大きなデータ限界におけるモデルの多くの重要な特性を決定する。 滑らか度パラメータの最大値とクロスバリデーション推定値のアンダースムース化は不可能である。
• 参考スコア（独自算出の注目度）: 1.9290392443571387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is common to model a deterministic response function, such as the output of a computer experiment, as a Gaussian process with a Mat\'ern covariance kernel. The smoothness parameter of a Mat\'ern kernel determines many important properties of the model in the large data limit, such as the rate of convergence of the conditional mean to the response function. We prove that the maximum likelihood and cross-validation estimates of the smoothness parameter cannot asymptotically undersmooth the truth when the data are obtained on a fixed bounded subset of $\mathbb{R}^d$. That is, if the data-generating response function has Sobolev smoothness $\nu_0 + d/2$, then the smoothness parameter estimates cannot remain below $\nu_0$ as more data are obtained. These results are based on a general theorem, proved using reproducing kernel Hilbert space techniques, about sets of values the parameter estimates cannot take and approximation theory in Sobolev spaces.
• Abstract（参考訳）: コンピュータ実験の出力のような決定論的応答関数をマット・エルン共分散核を持つガウス過程としてモデル化するのが一般的である。 mat\'ernカーネルの滑らかさパラメータは、応答関数に対する条件付き平均の収束率など、大きなデータ限界におけるモデルの多くの重要な特性を決定する。 我々は、データが$\mathbb{r}^d$ の固定有界部分集合上で得られるとき、滑らか性パラメータの最大確率とクロスバリデーション推定は漸近的に真理を覆すことができないことを証明した。 つまり、データ生成応答関数が sobolev smoothness $\nu_0 + d/2$ を持つならば、より多くのデータが得られれば、滑らかさパラメータの推定値は $\nu_0$ 以下となることはない。 これらの結果は一般定理に基づくもので、カーネルヒルベルト空間法を用いて証明され、パラメータ推定が取れない値の集合とソボレフ空間における近似理論についてである。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Revisiting the Last-Iterate Convergence of Stochastic Gradient Methods [25.831462008050387]
  グラディエント・Descent(SGD)アルゴリズムは、実際の性能が良く、理論的な理解が欠如していることから、人々の関心を喚起している。 有限収束がより広い合成最適化や非ユークリッドノルムに証明可能な拡張が可能かどうかはまだ不明である。
  論文  参考訳（メタデータ） (2023-12-13T21:41:06Z)
• On Computationally Efficient Learning of Exponential Family Distributions [33.229944519289795]
  我々は、サポートと自然なパラメータが適切にバウンドされている設定に焦点を当てる。 本手法は,ノードワイズ・スパースランダムフィールドに適した場合,$O(sf log(k)/alpha2)$のオーダー最適サンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2023-09-12T17:25:32Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Efficient displacement convex optimization with particle gradient descent [57.88860627977882]
  粒子勾配降下は確率測度の関数の最適化に広く用いられている。 本稿では, 有限個の粒子による粒子勾配降下について考察し, その理論的保証を定式化して, 測度に置換凸となる関数を最適化する。
  論文  参考訳（メタデータ） (2023-02-09T16:35:59Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Randomized Coordinate Subgradient Method for Nonsmooth Composite Optimization [11.017632675093628]
  非滑らかな問題に対処するコーディネート型劣階法は、リプシッツ型仮定の性質のセットのため、比較的過小評価されている。
  論文  参考訳（メタデータ） (2022-06-30T02:17:11Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Tight Nonparametric Convergence Rates for Stochastic Gradient Descent under the Noiseless Linear Model [0.0]
  このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。 特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2020-06-15T08:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。