論文の概要: Debiased Kernel Methods
- arxiv url: http://arxiv.org/abs/2102.11076v1
- Date: Mon, 22 Feb 2021 14:46:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-24 06:00:14.044063
- Title: Debiased Kernel Methods
- Title(参考訳): Debiased Kernel Methods
- Authors: Rahul Singh
- Abstract要約: 汎用カーネル法の関数に対する信頼区間を計算するために,バイアス補正とサンプル分割に基づく実用的手順を提案する。
RKHS学習理論の古典的な仮定もまた推論を示唆していることを示す。
- 参考スコア(独自算出の注目度): 3.398662563413433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: I propose a practical procedure based on bias correction and sample splitting
to calculate confidence intervals for functionals of generic kernel methods,
i.e. nonparametric estimators learned in a reproducing kernel Hilbert space
(RKHS). For example, an analyst may desire confidence intervals for functionals
of kernel ridge regression or kernel instrumental variable regression. The
framework encompasses (i) evaluations over discrete domains, (ii) treatment
effects of discrete treatments, and (iii) incremental treatment effects of
continuous treatments. For the target quantity, whether it is (i)-(iii), I
prove pointwise root-n consistency, Gaussian approximation, and semiparametric
efficiency by finite sample arguments. I show that the classic assumptions of
RKHS learning theory also imply inference.
- Abstract(参考訳): 汎用カーネル法の関数に対する信頼区間を計算するために,バイアス補正とサンプル分割に基づく実用的手順を提案する。
再生カーネルヒルベルト空間(RKHS)で学習された非パラメトリック推定器。
例えば、アナリストはカーネルリッジ回帰やカーネルインストゥルメンタル変数回帰の関数に対する信頼区間を求めるかもしれない。
本フレームワークは, (i) 個別領域に対する評価, (ii) 個別処理による治療効果, (iii) 連続処理による漸進的な治療効果を含む。
対象量について、(i)-(iii) であっても、有限サンプル引数による点方向のルート-n整合、ガウス近似、半パラメトリック効率を証明します。
RKHS学習理論の古典的な仮定もまた推論を示唆していることを示す。
関連論文リスト
- Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。
本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
論文 参考訳(メタデータ) (2024-10-01T04:27:07Z) - High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。
バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。
偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
論文 参考訳(メタデータ) (2024-06-05T12:03:27Z) - Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。
初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
論文 参考訳(メタデータ) (2024-06-03T15:28:12Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳(メタデータ) (2024-05-01T15:59:00Z) - Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。
以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。
副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
論文 参考訳(メタデータ) (2023-12-26T10:55:20Z) - Optimally tackling covariate shift in RKHS-based nonparametric
regression [43.457497490211985]
我々は、慎重に選択された正規化パラメータを持つカーネルリッジ回帰推定器がミニマックスレート最適であることを示す。
また,関数クラスに対する経験的リスクを最小限に抑えるナイーブ推定器は,厳密に準最適であることを示す。
そこで本研究では, 再重み付きKRR推定器を提案する。
論文 参考訳(メタデータ) (2022-05-06T02:33:24Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - How rotational invariance of common kernels prevents generalization in
high dimensions [8.508198765617196]
カーネルリッジ回帰は、低次元設定で最小の最適速度を達成するためによく知られている。
最近の研究は、基底真理関数と入力データの分布を仮定して、カーネル回帰の整合性を確立する。
論文 参考訳(メタデータ) (2021-04-09T08:27:37Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Kernel Methods for Causal Functions: Dose, Heterogeneous, and
Incremental Response Curves [26.880628841819004]
我々は、一般化されたカーネルリッジ回帰のオリジナル解析により、改良された有限標本率と一様整合性を証明した。
本研究は,本研究の主な成果を,前部および後部ドア基準で同定した反事実分布と因果関数に拡張する。
論文 参考訳(メタデータ) (2020-10-10T00:53:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。