論文の概要: A New Central Limit Theorem for the Augmented IPW Estimator: Variance
Inflation, Cross-Fit Covariance and Beyond
- arxiv url: http://arxiv.org/abs/2205.10198v1
- Date: Fri, 20 May 2022 14:17:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 16:03:43.604424
- Title: A New Central Limit Theorem for the Augmented IPW Estimator: Variance
Inflation, Cross-Fit Covariance and Beyond
- Title(参考訳): 拡張IPW推定のための新しい中心極限理論:可変インフレーション、クロスフィールド共分散および超越
- Authors: Kuanhao Jiang, Rajarshi Mukherjee, Subhabrata Sen and Pragya Sur
- Abstract要約: クロスフィッティングを用いたクロスフィッティング逆確率重み付け(AIPW)は、実際は一般的な選択肢である。
本研究では, 高次元状態における結果回帰モデルと確率スコアモデルを用いて, クロスフィット型AIPW推定器について検討する。
本研究は, メッセージパッシング理論, 決定論的等価性理論, 離脱一元的アプローチの3つの異なるツール間の新たな相互作用を利用する。
- 参考スコア(独自算出の注目度): 0.9172870611255595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimation of the average treatment effect (ATE) is a central problem in
causal inference. In recent times, inference for the ATE in the presence of
high-dimensional covariates has been extensively studied. Among the diverse
approaches that have been proposed, augmented inverse probability weighting
(AIPW) with cross-fitting has emerged as a popular choice in practice. In this
work, we study this cross-fit AIPW estimator under well-specified outcome
regression and propensity score models in a high-dimensional regime where the
number of features and samples are both large and comparable. Under assumptions
on the covariate distribution, we establish a new CLT for the suitably scaled
cross-fit AIPW that applies without any sparsity assumptions on the underlying
high-dimensional parameters. Our CLT uncovers two crucial phenomena among
others: (i) the AIPW exhibits a substantial variance inflation that can be
precisely quantified in terms of the signal-to-noise ratio and other problem
parameters, (ii) the asymptotic covariance between the pre-cross-fit estimates
is non-negligible even on the root-n scale. In fact, these cross-covariances
turn out to be negative in our setting. These findings are strikingly different
from their classical counterparts. On the technical front, our work utilizes a
novel interplay between three distinct tools--approximate message passing
theory, the theory of deterministic equivalents, and the leave-one-out
approach. We believe our proof techniques should be useful for analyzing other
two-stage estimators in this high-dimensional regime. Finally, we complement
our theoretical results with simulations that demonstrate both the finite
sample efficacy of our CLT and its robustness to our assumptions.
- Abstract(参考訳): 平均治療効果(ATE)の推定は因果推論における中心的な問題である。
近年では、高次元共変量の存在下でのATEの推測が広く研究されている。
これまで提案されてきた多種多様なアプローチの中で,クロスフィッティングによる拡張逆確率重み付け (AIPW) が普及している。
本研究では, 特徴量とサンプル数がともに大きい高次元状態下で, 精度の高い結果回帰と確率スコアモデルの下で, このクロスフィットAIPW推定器について検討する。
共変量分布の仮定に基づき, 基礎となる高次元パラメータに対する空間的仮定を伴わない, 適度にスケールしたAIPWのための新しいCLTを確立する。
我々のCLTは2つの重要な現象を発見した。
i) AIPWは、信号対雑音比および他の問題パラメータの観点から正確に定量化できる、実質的な分散インフレーションを示す。
(ii)プレクロスフィット推定値間の漸近共分散は、ルートnスケールでも無視できない。
実際、これらの交叉共分散は我々の設定では負であることが判明した。
これらの発見は古典派とは大きく異なる。
技術面では,3つの異なるツール(近似メッセージパッシング理論,決定論的等価性の理論,残余ワンアウトアプローチ)の新たな相互作用を用いている。
我々の証明手法は、この高次元領域における他の2段階推定器の分析に有用であると信じている。
最後に、我々のCLTの有限標本有効性と、我々の仮定に対する堅牢性の両方を示すシミュレーションで理論結果を補完する。
関連論文リスト
- Semiparametric Efficient Inference in Adaptive Experiments [29.43493007296859]
本研究では, 治療や管理に対する課題の割り当てを規定する政策が, 時間とともに変化しうる連続的な実験において, 平均治療効果の効率的な推定の問題点を考察する。
まず、Adaptive Augmented Inverse-Probability Weighted estimator に対する中心極限定理について述べる。
次に、従来の手法よりもかなり厳密な確率性および漸近的信頼シーケンスの両方を導出した逐次推論設定を検討する。
論文 参考訳(メタデータ) (2023-11-30T06:25:06Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳(メタデータ) (2023-09-02T01:27:53Z) - A Practical Upper Bound for the Worst-Case Attribution Deviations [21.341303776931532]
モデル属性は、複雑なモデルに対する解釈可能性において、ディープニューラルネットワーク(DNN)の重要な構成要素である。
近年の研究では、属性が異なる類似画像を生成する属性攻撃に弱いため、属性手法の安全性に注意が向けられている。
既存の研究はこれらの攻撃に対するDNNの堅牢性を実証的に改善している。
この研究において、制約付き最適化問題を初めて定式化し、ある領域内の雑音によってサンプルが摂動した後の属性の最大の相違を測る上限を導出する。
論文 参考訳(メタデータ) (2023-03-01T09:07:27Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳(メタデータ) (2022-02-10T18:51:52Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Variance Minimization in the Wasserstein Space for Invariant Causal
Prediction [72.13445677280792]
そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。
これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。
我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
論文 参考訳(メタデータ) (2021-10-13T22:30:47Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳(メタデータ) (2021-06-09T12:13:51Z) - Non-Asymptotic Performance Guarantees for Neural Estimation of
$\mathsf{f}$-Divergences [22.496696555768846]
統計的距離は確率分布の相似性を定量化する。
このようなデータからの距離を推定する現代的な方法は、ニューラルネットワーク(NN)による変動形態のパラメータ化と最適化に依存する。
本稿では,このトレードオフを非漸近誤差境界を用いて検討し,SDの3つの一般的な選択に焦点をあてる。
論文 参考訳(メタデータ) (2021-03-11T19:47:30Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-04-21T23:09:55Z) - The Counterfactual $\chi$-GAN [20.42556178617068]
因果推論は、しばしば、治療の割り当てが結果から独立していることを要求する反ファクト的枠組みに依存する。
本研究は,CGAN(Counterfactual $chi$-GAN)と呼ばれるGAN(Generative Adversarial Network)に基づくモデルを提案する。
論文 参考訳(メタデータ) (2020-01-09T17:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。