論文の概要: Kernel Debiased Plug-in Estimation: Simultaneous, Automated Debiasing
without Influence Functions for Many Target Parameters
- arxiv url: http://arxiv.org/abs/2306.08598v3
- Date: Thu, 8 Feb 2024 19:45:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 20:54:15.644753
- Title: Kernel Debiased Plug-in Estimation: Simultaneous, Automated Debiasing
without Influence Functions for Many Target Parameters
- Title(参考訳): Kernel Debiased Plug-in Estimation:多くのターゲットパラメータに影響を及ぼさない同時自動デバイアス
- Authors: Brian Cho, Yaroslav Mukhin, Kyra Gan, Ivana Malenica
- Abstract要約: カーネル・デバイアスド・プラグイン推定(KDPE)という新しい手法を提案する。
KDPEは、我々の規則性条件を満たす全ての微分可能なターゲットパラメータを同時に分離する。
我々は、KDPEの使用法を数値的に説明し、理論結果を検証した。
- 参考スコア(独自算出の注目度): 1.7478203318226313
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the problem of estimating target parameters in nonparametric models with
nuisance parameters, substituting the unknown nuisances with nonparametric
estimators can introduce "plug-in bias." Traditional methods addressing this
sub-optimal bias-variance trade-offs rely on the influence function (IF) of the
target parameter. When estimating multiple target parameters, these methods
require debiasing the nuisance parameter multiple times using the corresponding
IFs, posing analytical and computational challenges. In this work, we leverage
the targeted maximum likelihood estimation framework to propose a novel method
named kernel debiased plug-in estimation (KDPE). KDPE refines an initial
estimate through regularized likelihood maximization steps, employing a
nonparametric model based on reproducing kernel Hilbert spaces. We show that
KDPE (i) simultaneously debiases all pathwise differentiable target parameters
that satisfy our regularity conditions, (ii) does not require the IF for
implementation, and (iii) remains computationally tractable. We numerically
illustrate the use of KDPE and validate our theoretical results.
- Abstract(参考訳): 迷惑パラメータを持つ非パラメトリックモデルの目標パラメータを推定する問題では、未知の迷惑パラメータを非パラメトリック推定子で置換することで「プラグインバイアス」を導入することができる。
この準最適バイアス分散トレードオフに対処する伝統的な方法は、対象パラメータの影響関数(IF)に依存する。
複数の対象パラメータを推定する場合、これらの手法は対応するIFを用いて複数のニュアンスパラメータをデバイアスし、解析的および計算的課題を提起する。
本研究では,kdpe(kernel debiased plug-in estimation)と呼ばれる新しい手法を提案する。
kdpeは、カーネルヒルベルト空間の再現に基づく非パラメトリックモデルを用いて、正則化確率の最大化ステップを通じて初期推定を洗練する。
我々は、KDPEが
i) 規則性条件を満たす全ての経路微分可能なターゲットパラメータを同時に分離する。
(ii) 実施に if を必要とせず、
(iii)計算能力は保たれている。
我々はkdpeの使用を数値的に説明し,理論結果を検証する。
関連論文リスト
- Scalable and hyper-parameter-free non-parametric covariate shift
adaptation with conditional sampling [2.969582361376132]
共変量シフト適応に対する新しい非パラメトリックアプローチを提案する。
私たちの基本的な考え方は、ソースデータセットにある$k$-nearestの隣人によってラベル付けされていないターゲットデータをラベル付けすることにあります。
その結果,対象データの結合確率分布を推定するための収束速度が急上昇することがわかった。
論文 参考訳(メタデータ) (2023-12-15T17:28:09Z) - Deeper Understanding of Black-box Predictions via Generalized Influence
Functions [7.264378254137811]
影響関数(IF)は、学習データがモデル行動に与える影響を解明する。
しかし、現代の大規模モデルにおける非選択性や不正確なパラメータの数の増加は、計算の近似不安定性に影響を与える。
固定パラメータの脆弱性を考慮した一般化IFを導入し, 対象パラメータの影響を正確に推定する。
論文 参考訳(メタデータ) (2023-12-09T14:17:12Z) - Adaptive debiased machine learning using data-driven model selection
techniques [0.5735035463793007]
Adaptive Debiased Machine Learning (ADML)は、データ駆動型モデル選択と非バイアス型機械学習技術を組み合わせた非バイアス型フレームワークである。
ADMLはモデルの誤特定によるバイアスを回避し、パラメトリックモデルとセミモデルの制約から解放される。
適応的部分線形回帰モデルにおける平均処理効果を推定するためのADML推定器の幅広いクラスを提供する。
論文 参考訳(メタデータ) (2023-07-24T06:16:17Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳(メタデータ) (2023-06-06T19:02:57Z) - Efficient Sensitivity Analysis for Parametric Robust Markov Chains [23.870902923521335]
本稿では,ロバストマルコフ鎖の感度解析法を提案する。
我々は、不確実な遷移確率に関する偏微分の観点から感度を測定する。
得られた結果を、専用感度分析へのアクセスから利益を得る反復学習方式に組み込む。
論文 参考訳(メタデータ) (2023-05-01T08:23:55Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Evaluating Sensitivity to the Stick-Breaking Prior in Bayesian
Nonparametrics [85.31247588089686]
変分ベイズ法はベイズモデルのパラメトリック的および非パラメトリック的側面に対して感性が得られることを示す。
ベイズ感度分析に対する変動的アプローチの理論的および経験的支援を提供する。
論文 参考訳(メタデータ) (2021-07-08T03:40:18Z) - Regularized Nonlinear Regression for Simultaneously Selecting and
Estimating Key Model Parameters [1.6122433144430324]
システム同定では、限られた観測値を用いてモデルのパラメータを推定すると、識別性が低下する。
感度パラメータをキーモデルパラメータとして同時に選択および推定し、残りのパラメータを典型的な値の集合に固定する新しい方法を提案する。
論文 参考訳(メタデータ) (2021-04-23T06:17:57Z) - SUMO: Unbiased Estimation of Log Marginal Probability for Latent
Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。
推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文 参考訳(メタデータ) (2020-04-01T11:49:30Z) - Orthogonal Statistical Learning [49.55515683387805]
人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。
人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
論文 参考訳(メタデータ) (2019-01-25T02:21:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。