論文の概要: Double Cross-fit Doubly Robust Estimators: Beyond Series Regression
- arxiv url: http://arxiv.org/abs/2403.15175v1
- Date: Fri, 22 Mar 2024 12:59:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 17:29:06.797006
- Title: Double Cross-fit Doubly Robust Estimators: Beyond Series Regression
- Title（参考訳）: ダブルクロスフィットの2倍のロバスト推定器: シリーズリグレッションを超えて
- Authors: Alec McClean, Sivaraman Balakrishnan, Edward H. Kennedy, Larry Wasserman,
- Abstract要約: クロスフィットの頑健な推定器は、好意的な構造に依存しないエラー保証のため、因果推論で人気を博している。
トレーニングデータを分割し、独立したサンプルにニュアンス関数推定器をアンダースムースすることにより、DCDR (Double Cross-fit Duubly robust) 推定器を構築することができる。
我々は、非平滑なDCDR推定器がより遅い$sqrtn$中心極限を満たすことを示し、非$sqrtn$状態においても推論が可能であることを示す。
- 参考スコア（独自算出の注目度）: 13.595329873577839
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Doubly robust estimators with cross-fitting have gained popularity in causal inference due to their favorable structure-agnostic error guarantees. However, when additional structure, such as H\"{o}lder smoothness, is available then more accurate "double cross-fit doubly robust" (DCDR) estimators can be constructed by splitting the training data and undersmoothing nuisance function estimators on independent samples. We study a DCDR estimator of the Expected Conditional Covariance, a functional of interest in causal inference and conditional independence testing, and derive a series of increasingly powerful results with progressively stronger assumptions. We first provide a structure-agnostic error analysis for the DCDR estimator with no assumptions on the nuisance functions or their estimators. Then, assuming the nuisance functions are H\"{o}lder smooth, but without assuming knowledge of the true smoothness level or the covariate density, we establish that DCDR estimators with several linear smoothers are semiparametric efficient under minimal conditions and achieve fast convergence rates in the non-$\sqrt{n}$ regime. When the covariate density and smoothnesses are known, we propose a minimax rate-optimal DCDR estimator based on undersmoothed kernel regression. Moreover, we show an undersmoothed DCDR estimator satisfies a slower-than-$\sqrt{n}$ central limit theorem, and that inference is possible even in the non-$\sqrt{n}$ regime. Finally, we support our theoretical results with simulations, providing intuition for double cross-fitting and undersmoothing, demonstrating where our estimator achieves semiparametric efficiency while the usual "single cross-fit" estimator fails, and illustrating asymptotic normality for the undersmoothed DCDR estimator.
- Abstract（参考訳）: クロスフィットの頑健な推定器は、構造に依存しないエラー保証のために因果推論で人気を博している。
しかし、H\"{o}lder smoothness(英語版)のような追加構造が利用可能であれば、トレーニングデータを分割し、独立サンプルに平滑なニュアンス関数推定器を組み込むことで、より正確な「二重適合二重剛性」(DCDR)推定器を構築することができる。
我々は、因果推論と条件独立性テストに対する関心の関数である、期待された条件共分散のDCDR推定器について検討し、徐々に強い仮定を持つ、より強力な結果のシリーズを導出する。
まず、直流DR推定器に対して、ニュアンス関数やその推定器に関する仮定のない構造に依存しない誤差解析を行う。
すると、ニュアンス関数が H\ "{o}lder smooth であると仮定するが、真の滑らか度レベルや共変量密度の知識を仮定せずに、線形スムーサを持つ DCDR 推定器は最小条件下で半パラメトリック効率を保ち、非$\sqrt{n}$ 状態における高速収束率を達成する。
共変量密度と滑らかさが知られているとき、不規則なカーネル回帰に基づく最小最大速度最適化DCDR推定器を提案する。
さらに、非滑らかなDCDR推定器は、より遅い-$\sqrt{n}$中心極限定理を満たすことを示し、非$\sqrt{n}$状態においても推論が可能である。
最後に、シミュレーションによる理論結果をサポートし、二重クロスフィットとアンダースムースメントの直観を提供し、通常の「単一クロスフィット」推定器が失敗する間、我々の推定器がセミパラメトリック効率をどこで達成しているかを示し、アンダースムースされたDCDR推定器の漸近正規性を示す。
関連論文リスト
- Multi-Irreducible Spectral Synchronization for Robust Rotation Averaging [1.2289361708127877]
雑音の測定値として、SO$における未知の向きの集合を$R_1, ..., R_Nで推定する方法を示す。
その結果, 正確な推定を実現するために, エフェクトが保証される計測ネットワークを考案する方法が示唆された。
論文 参考訳（メタデータ） (2023-11-28T06:25:26Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent
Estimator [0.0]
本稿では,凸問題の文脈における統計的推論のための勾配降下(SGD)の理論的性質について検討する。
多重誤差最小値を含む2つの干渉手順を提案する。
論文 参考訳（メタデータ） (2023-06-03T22:08:10Z) - Doubly Robust Distributionally Robust Off-Policy Evaluation and Learning [59.02006924867438]
オフ政治評価と学習(OPE/L)は、オフラインの観察データを使用してより良い意思決定を行う。
近年の研究では、分散ロバストなOPE/L (DROPE/L) が提案されているが、この提案は逆正則重み付けに依存している。
KL分散不確実性集合を用いたDROPE/Lの最初のDRアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-19T20:00:44Z) - Private Robust Estimation by Stabilizing Convex Relaxations [22.513117502159922]
$(epsilon, delta)$-differentially private (DP)
$(epsilon, delta)$-differentially private (DP)
$(epsilon, delta)$-differentially private (DP)
論文 参考訳（メタデータ） (2021-12-07T07:47:37Z) - Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis [16.499651513178012]
分散ロバスト最適化(DRO)は、分散シフトに対してロバストなモデルを学ぶために広く使われている手法である。
目的関数はおそらく非滑らかであり,正規化勾配降下を有するにもかかわらず,非漸近収束を保証する。
論文 参考訳（メタデータ） (2021-10-24T14:56:38Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。
DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。
有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
論文 参考訳（メタデータ） (2021-02-23T18:56:13Z) - Sparse Representations of Positive Functions via First and Second-Order
Pseudo-Mirror Descent [15.340540198612823]
推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。
Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。
実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
論文 参考訳（メタデータ） (2020-11-13T21:54:28Z) - $\gamma$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a
Robust Divergence Estimator [95.71091446753414]
最寄りの$gamma$-divergence推定器をデータ差分尺度として用いることを提案する。
本手法は既存の不一致対策よりも高いロバスト性を実現する。
論文 参考訳（メタデータ） (2020-06-13T06:09:27Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳（メタデータ） (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。