論文の概要: On the Estimation of Derivatives Using Plug-in Kernel Ridge Regression
Estimators
- arxiv url: http://arxiv.org/abs/2006.01350v4
- Date: Sat, 26 Aug 2023 01:21:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 02:31:49.688949
- Title: On the Estimation of Derivatives Using Plug-in Kernel Ridge Regression
Estimators
- Title（参考訳）: プラグインカーネルリッジ回帰推定器を用いた導関数の推定について
- Authors: Zejian Liu and Meng Li
- Abstract要約: 非パラメトリック回帰における単純なプラグインカーネルリッジ回帰(KRR)推定器を提案する。
我々は,提案した推定器の挙動を統一的に研究するために,非漸近解析を行う。
提案した推定器は、導関数の任意の順序に対するチューニングパラメータを同じ選択で最適収束率を達成する。
- 参考スコア（独自算出の注目度）: 4.392844455327199
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of estimating the derivatives of a regression function,
which has a wide range of applications as a key nonparametric functional of
unknown functions. Standard analysis may be tailored to specific derivative
orders, and parameter tuning remains a daunting challenge particularly for
high-order derivatives. In this article, we propose a simple plug-in kernel
ridge regression (KRR) estimator in nonparametric regression with random design
that is broadly applicable for multi-dimensional support and arbitrary
mixed-partial derivatives. We provide a non-asymptotic analysis to study the
behavior of the proposed estimator in a unified manner that encompasses the
regression function and its derivatives, leading to two error bounds for a
general class of kernels under the strong $L_\infty$ norm. In a concrete
example specialized to kernels with polynomially decaying eigenvalues, the
proposed estimator recovers the minimax optimal rate up to a logarithmic factor
for estimating derivatives of functions in H\"older and Sobolev classes.
Interestingly, the proposed estimator achieves the optimal rate of convergence
with the same choice of tuning parameter for any order of derivatives. Hence,
the proposed estimator enjoys a \textit{plug-in property} for derivatives in
that it automatically adapts to the order of derivatives to be estimated,
enabling easy tuning in practice. Our simulation studies show favorable finite
sample performance of the proposed method relative to several existing methods
and corroborate the theoretical findings on its minimax optimality.
- Abstract（参考訳）: 未知関数の重要な非パラメトリック関数として広く応用されている回帰関数の導関数を推定する問題について検討する。
標準解析は特定のデリバティブ順序に合わせることができ、パラメータチューニングは特に高階微分に対して困難な課題である。
本稿では,多次元サポートや任意の混合部分微分に広く適用可能な,ランダムな設計による非パラメトリック回帰の簡易なプラグインカーネルリッジ回帰(KRR)推定器を提案する。
回帰関数とその導関数を包含する統一的な方法で提案する推定器の挙動を研究する非漸近解析を行い,強い$l_\infty$ノルムの下でのカーネルの一般クラスに対する2つの誤差境界を導出する。
多項式減衰固有値を持つカーネルに特化した具体例において、提案した推定器は、H\older と Sobolev クラスの関数の微分を推定するための対数係数まで最小値の最適率を復元する。
興味深いことに、提案する推定器は、任意の階数導関数のチューニングパラメータを同じ選択で最適な収束率を達成する。
そこで提案した推定器は, 導関数の順序に自動的に適応し, 実際に容易にチューニングできるような, 導関数に対する \textit{plug-in property} を享受する。
シミュレーションにより,提案手法の既存手法と比較して,有限サンプル性能が良好であることを示し,ミニマックス最適性に関する理論的知見を裏付ける。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Optimal estimators of cross-partial derivatives and surrogates of functions [0.0]
本稿では、これらの関数をランダム化点$N$で評価することにより、関数のすべての部分的微分のサロゲートを導入する。
NL$モデルランに基づく関連する推定器は、収束の最適な速度に達する。
このような結果は、i)感度指標の主および上界を計算し、i)微分に基づくANOVAシミュレーションにより、シミュレータのエミュレータや関数のサロゲートを導出する。
論文 参考訳（メタデータ） (2024-07-05T03:39:06Z) - Derivatives of Stochastic Gradient Descent in parametric optimization [16.90974792716146]
グラディエントDescent (SGD) の反復剤の誘導体の挙動について検討する。
元のSGDの収束によって摂動される異なる目的関数上の不正確なSGDによって駆動されることを示す。
具体的には、定常的なステップサイズでは、これらの導関数は解導関数を中心とするノイズボール内で安定化し、消滅したステップサイズでは$O(log(k)2 / k)$収束率を示すことを示した。
論文 参考訳（メタデータ） (2024-05-24T19:32:48Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - On High dimensional Poisson models with measurement error: hypothesis
testing for nonlinear nonconvex optimization [13.369004892264146]
我々は高次元の回帰モデルの推定と検証を行い、データ解析に広く応用する。
ペナル化された一貫性を最小化することで回帰パラメータを推定する。
提案手法はアルツハイマー病イニシアチブに適用される。
論文 参考訳（メタデータ） (2022-12-31T06:58:42Z) - Statistical Optimality of Divide and Conquer Kernel-based Functional
Linear Regression [1.7227952883644062]
本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。
分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
論文 参考訳（メタデータ） (2022-11-20T12:29:06Z) - Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。
本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文 参考訳（メタデータ） (2022-08-29T16:16:22Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳（メタデータ） (2022-05-26T20:56:25Z) - Equivalence of Convergence Rates of Posterior Distributions and Bayes
Estimators for Functions and Nonparametric Functionals [4.375582647111708]
非パラメトリック回帰におけるガウス過程の先行したベイズ法の後部収縮率について検討する。
カーネルの一般クラスに対しては、回帰関数とその微分の後方測度の収束率を確立する。
我々の証明は、ある条件下では、ベイズ推定器の任意の収束率に対して、後部分布の同じ収束率に対応することを示す。
論文 参考訳（メタデータ） (2020-11-27T19:11:56Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳（メタデータ） (2020-03-05T14:33:20Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳（メタデータ） (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。