論文の概要: Equivalence of Convergence Rates of Posterior Distributions and Bayes Estimators for Functions and Nonparametric Functionals

• arxiv url: http://arxiv.org/abs/2011.13967v1
• Date: Fri, 27 Nov 2020 19:11:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 02:49:44.401863
• Title: Equivalence of Convergence Rates of Posterior Distributions and Bayes Estimators for Functions and Nonparametric Functionals
• Title（参考訳）: 関数と非パラメトリック関数に対する後部分布の収束率とベイズ推定器の等価性
• Authors: Zejian Liu and Meng Li
• Abstract要約: 非パラメトリック回帰におけるガウス過程の先行したベイズ法の後部収縮率について検討する。 カーネルの一般クラスに対しては、回帰関数とその微分の後方測度の収束率を確立する。 我々の証明は、ある条件下では、ベイズ推定器の任意の収束率に対して、後部分布の同じ収束率に対応することを示す。
• 参考スコア（独自算出の注目度）: 4.375582647111708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the posterior contraction rates of a Bayesian method with Gaussian process priors in nonparametric regression and its plug-in property for differential operators. For a general class of kernels, we establish convergence rates of the posterior measure of the regression function and its derivatives, which are both minimax optimal up to a logarithmic factor for functions in certain classes. Our calculation shows that the rate-optimal estimation of the regression function and its derivatives share the same choice of hyperparameter, indicating that the Bayes procedure remarkably adapts to the order of derivatives and enjoys a generalized plug-in property that extends real-valued functionals to function-valued functionals. This leads to a practically simple method for estimating the regression function and its derivatives, whose finite sample performance is assessed using simulations. Our proof shows that, under certain conditions, to any convergence rate of Bayes estimators there corresponds the same convergence rate of the posterior distributions (i.e., posterior contraction rate), and vice versa. This equivalence holds for a general class of Gaussian processes and covers the regression function and its derivative functionals, under both the $L_2$ and $L_{\infty}$ norms. In addition to connecting these two fundamental large sample properties in Bayesian and non-Bayesian regimes, such equivalence enables a new routine to establish posterior contraction rates by calculating convergence rates of nonparametric point estimators. At the core of our argument is an operator-theoretic framework for kernel ridge regression and equivalent kernel techniques. We derive a range of sharp non-asymptotic bounds that are pivotal in establishing convergence rates of nonparametric point estimators and the equivalence theory, which may be of independent interest.
• Abstract（参考訳）: 非パラメトリック回帰におけるガウス過程に先行するベイズ法の後方収縮率と微分作用素に対するプラグイン特性について検討した。 核の一般クラスに対しては、回帰関数とその微分の後方測度の収束率を定め、それらはいずれも、あるクラスにおける関数の対数係数まで最適である。 本計算により,回帰関数とその導関数の速度最適推定はハイパーパラメータの選択と同一であり,ベイズ法が導関数の次数に著しく適応し,実数値関数を関数関数へ拡張する一般化プラグイン特性を享受できることを示した。 これにより, 有限サンプル性能をシミュレーションにより評価した回帰関数とその導関数を, 実質的に簡易に推定できる。 この証明は,任意の条件下でベイズ推定器の収束率に対して,後方分布(つまり後方収縮率)の収束率と逆の収束率とが一致することを示す。 この同値性はガウス過程の一般クラスを持ち、回帰関数とその微分汎函数を$L_2$と$L_{\infty}$ノルムの下でカバーする。 ベイズ系と非ベイズ系でこれら2つの基本的な大きなサンプル特性を結合するのに加えて、そのような同値性は非パラメトリック点推定器の収束率を計算することによって、新しいルーチンで後部収縮率を確立することができる。 我々の議論の中核は、カーネルリッジ回帰と等価カーネル技術のための演算子理論フレームワークである。 我々は、非パラメトリック点推定器の収束率と、独立な興味を持つかもしれない同値理論を確立する上で重要な急激な非漸近境界を導出する。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Statistical Inference of Optimal Allocations I: Regularities and their Implications [3.904240476752459]
  まず、ソート作用素の一般性質の詳細な解析を通して、値関数のアダマール微分可能性(英語版)を導出する。 アダマール微分可能性の結果に基づいて、関数デルタ法を用いて値関数プロセスの特性を直接導出する方法を実証する。
  論文  参考訳（メタデータ） (2024-03-27T04:39:13Z)
• Functional Partial Least-Squares: Optimal Rates and Adaptation [0.0]
  共役勾配法に関連する機能的最小二乗推定器(PLS)の新たな定式化を提案する。 推定器は楕円体のクラス上で(ほぼ)最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-16T23:47:47Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
  本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。 分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2022-11-20T12:29:06Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• On the Estimation of Derivatives Using Plug-in Kernel Ridge Regression Estimators [4.392844455327199]
  非パラメトリック回帰における単純なプラグインカーネルリッジ回帰(KRR)推定器を提案する。 我々は,提案した推定器の挙動を統一的に研究するために,非漸近解析を行う。 提案した推定器は、導関数の任意の順序に対するチューニングパラメータを同じ選択で最適収束率を達成する。
  論文  参考訳（メタデータ） (2020-06-02T02:32:39Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。