論文の概要: Asymptotic Bounds for Smoothness Parameter Estimates in Gaussian Process
Interpolation
- arxiv url: http://arxiv.org/abs/2203.05400v5
- Date: Mon, 27 Nov 2023 16:08:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 18:07:24.347572
- Title: Asymptotic Bounds for Smoothness Parameter Estimates in Gaussian Process
Interpolation
- Title（参考訳）: ガウス過程補間における滑らか度パラメータ推定のための漸近境界
- Authors: Toni Karvonen
- Abstract要約: マタン核の滑らかさは、大きなデータ限界におけるモデルの多くの重要な性質を決定する。
我々は,滑らか度パラメータの最大推定値が真理の下では過小評価できないことを証明した。
最大推定は、コンパクトに支持された自己相似関数のクラスにおける真の滑らかさを回復することを示す。
- 参考スコア（独自算出の注目度）: 3.8979646385036175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is common to model a deterministic response function, such as the output
of a computer experiment, as a Gaussian process with a Mat\'ern covariance
kernel. The smoothness parameter of a Mat\'ern kernel determines many important
properties of the model in the large data limit, including the rate of
convergence of the conditional mean to the response function. We prove that the
maximum likelihood estimate of the smoothness parameter cannot asymptotically
undersmooth the truth when the data are obtained on a fixed bounded subset of
$\mathbb{R}^d$. That is, if the data-generating response function has Sobolev
smoothness $\nu_0 > d/2$, then the smoothness parameter estimate cannot be
asymptotically less than $\nu_0$. The lower bound is sharp. Additionally, we
show that maximum likelihood estimation recovers the true smoothness for a
class of compactly supported self-similar functions. For cross-validation we
prove an asymptotic lower bound $\nu_0 - d/2$, which however is unlikely to be
sharp. The results are based on approximation theory in Sobolev spaces and some
general theorems that restrict the set of values that the parameter estimators
can take.
- Abstract（参考訳）: コンピュータ実験の出力のような決定論的応答関数をマット・エルン共分散核を持つガウス過程としてモデル化するのが一般的である。
mat\'ernカーネルの滑らかさパラメータは、応答関数に対する条件付き平均の収束率を含む、大きなデータ限界におけるモデルの多くの重要な特性を決定する。
滑らか度パラメータの最大推定値は、データが$\mathbb{R}^d$の固定有界部分集合上で得られるとき、漸近的に真理を過小評価することはできない。
すなわち、データ生成応答関数が Sobolev smoothness $\nu_0 > d/2$ を持つなら、滑らかさパラメータ推定は $\nu_0$ より漸近的に小さくならない。
下限は鋭い。
さらに,最大確率推定はコンパクトに支持される自己相似関数のクラスに対する真の滑らかさを回復することを示した。
クロスバリデーションに対しては、漸近下限 $\nu_0 - d/2$ が証明されるが、これはシャープではない。
結果はソボレフ空間の近似理論とパラメータ推定器が取り得る値の集合を制限するいくつかの一般定理に基づいている。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Revisiting the Last-Iterate Convergence of Stochastic Gradient Methods [25.831462008050387]
グラディエント・Descent(SGD)アルゴリズムは、実際の性能が良く、理論的な理解が欠如していることから、人々の関心を喚起している。
有限収束がより広い合成最適化や非ユークリッドノルムに証明可能な拡張が可能かどうかはまだ不明である。
論文 参考訳（メタデータ） (2023-12-13T21:41:06Z) - On Computationally Efficient Learning of Exponential Family
Distributions [33.229944519289795]
我々は、サポートと自然なパラメータが適切にバウンドされている設定に焦点を当てる。
本手法は,ノードワイズ・スパースランダムフィールドに適した場合,$O(sf log(k)/alpha2)$のオーダー最適サンプル複雑性を実現する。
論文 参考訳（メタデータ） (2023-09-12T17:25:32Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Efficient displacement convex optimization with particle gradient
descent [57.88860627977882]
粒子勾配降下は確率測度の関数の最適化に広く用いられている。
本稿では, 有限個の粒子による粒子勾配降下について考察し, その理論的保証を定式化して, 測度に置換凸となる関数を最適化する。
論文 参考訳（メタデータ） (2023-02-09T16:35:59Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation
Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。
提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-12-19T14:48:54Z) - Randomized Coordinate Subgradient Method for Nonsmooth Composite
Optimization [11.017632675093628]
非滑らかな問題に対処するコーディネート型劣階法は、リプシッツ型仮定の性質のセットのため、比較的過小評価されている。
論文 参考訳（メタデータ） (2022-06-30T02:17:11Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳（メタデータ） (2021-07-01T06:43:11Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳（メタデータ） (2020-06-15T08:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。