論文の概要: A New Central Limit Theorem for the Augmented IPW Estimator: Variance Inflation, Cross-Fit Covariance and Beyond

• arxiv url: http://arxiv.org/abs/2205.10198v1
• Date: Fri, 20 May 2022 14:17:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 16:03:43.604424
• Title: A New Central Limit Theorem for the Augmented IPW Estimator: Variance Inflation, Cross-Fit Covariance and Beyond
• Title（参考訳）: 拡張IPW推定のための新しい中心極限理論:可変インフレーション、クロスフィールド共分散および超越
• Authors: Kuanhao Jiang, Rajarshi Mukherjee, Subhabrata Sen and Pragya Sur
• Abstract要約: クロスフィッティングを用いたクロスフィッティング逆確率重み付け(AIPW)は、実際は一般的な選択肢である。 本研究では, 高次元状態における結果回帰モデルと確率スコアモデルを用いて, クロスフィット型AIPW推定器について検討する。 本研究は, メッセージパッシング理論, 決定論的等価性理論, 離脱一元的アプローチの3つの異なるツール間の新たな相互作用を利用する。
• 参考スコア（独自算出の注目度）: 0.9172870611255595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimation of the average treatment effect (ATE) is a central problem in causal inference. In recent times, inference for the ATE in the presence of high-dimensional covariates has been extensively studied. Among the diverse approaches that have been proposed, augmented inverse probability weighting (AIPW) with cross-fitting has emerged as a popular choice in practice. In this work, we study this cross-fit AIPW estimator under well-specified outcome regression and propensity score models in a high-dimensional regime where the number of features and samples are both large and comparable. Under assumptions on the covariate distribution, we establish a new CLT for the suitably scaled cross-fit AIPW that applies without any sparsity assumptions on the underlying high-dimensional parameters. Our CLT uncovers two crucial phenomena among others: (i) the AIPW exhibits a substantial variance inflation that can be precisely quantified in terms of the signal-to-noise ratio and other problem parameters, (ii) the asymptotic covariance between the pre-cross-fit estimates is non-negligible even on the root-n scale. In fact, these cross-covariances turn out to be negative in our setting. These findings are strikingly different from their classical counterparts. On the technical front, our work utilizes a novel interplay between three distinct tools--approximate message passing theory, the theory of deterministic equivalents, and the leave-one-out approach. We believe our proof techniques should be useful for analyzing other two-stage estimators in this high-dimensional regime. Finally, we complement our theoretical results with simulations that demonstrate both the finite sample efficacy of our CLT and its robustness to our assumptions.
• Abstract（参考訳）: 平均治療効果(ATE)の推定は因果推論における中心的な問題である。 近年では、高次元共変量の存在下でのATEの推測が広く研究されている。 これまで提案されてきた多種多様なアプローチの中で,クロスフィッティングによる拡張逆確率重み付け (AIPW) が普及している。 本研究では, 特徴量とサンプル数がともに大きい高次元状態下で, 精度の高い結果回帰と確率スコアモデルの下で, このクロスフィットAIPW推定器について検討する。 共変量分布の仮定に基づき, 基礎となる高次元パラメータに対する空間的仮定を伴わない, 適度にスケールしたAIPWのための新しいCLTを確立する。 我々のCLTは2つの重要な現象を発見した。 i) AIPWは、信号対雑音比および他の問題パラメータの観点から正確に定量化できる、実質的な分散インフレーションを示す。 (ii)プレクロスフィット推定値間の漸近共分散は、ルートnスケールでも無視できない。 実際、これらの交叉共分散は我々の設定では負であることが判明した。 これらの発見は古典派とは大きく異なる。 技術面では,3つの異なるツール(近似メッセージパッシング理論,決定論的等価性の理論,残余ワンアウトアプローチ)の新たな相互作用を用いている。 我々の証明手法は、この高次元領域における他の2段階推定器の分析に有用であると信じている。 最後に、我々のCLTの有限標本有効性と、我々の仮定に対する堅牢性の両方を示すシミュレーションで理論結果を補完する。

関連論文リスト

• Nonparametric estimation of Hawkes processes with RKHSs [1.775610745277615]
  本稿では、再生カーネル空間(RKHS)に相互作用関数が存在すると仮定した非線形ホークス過程の非パラメトリック推定について述べる。 神経科学の応用によって動機づけられたこのモデルは、エキサイティングな効果と阻害的な効果を表現するために、複雑な相互作用機能を実現する。 本手法は, 関連する非パラメトリック推定手法よりも優れた性能を示し, 神経応用に適していることが示唆された。
  論文  参考訳（メタデータ） (2024-11-01T14:26:50Z)
• Estimation and Inference for Causal Functions with Multiway Clustered Data [6.988496457312806]
  本稿では,一般的な因果関数のクラスに対する推定法と一様推論法を提案する。 因果関数は、調整された(Neyman-orthogonal)信号の条件付き期待値として同定される。 提案手法をアフリカにおける水準と歴史的奴隷貿易の因果関係の分析に適用する。
  論文  参考訳（メタデータ） (2024-09-10T17:17:53Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• A Practical Upper Bound for the Worst-Case Attribution Deviations [21.341303776931532]
  モデル属性は、複雑なモデルに対する解釈可能性において、ディープニューラルネットワーク(DNN)の重要な構成要素である。 近年の研究では、属性が異なる類似画像を生成する属性攻撃に弱いため、属性手法の安全性に注意が向けられている。 既存の研究はこれらの攻撃に対するDNNの堅牢性を実証的に改善している。 この研究において、制約付き最適化問題を初めて定式化し、ある領域内の雑音によってサンプルが摂動した後の属性の最大の相違を測る上限を導出する。
  論文  参考訳（メタデータ） (2023-03-01T09:07:27Z)
• Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression [14.493176427999028]
  線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。 一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
  論文  参考訳（メタデータ） (2022-02-10T18:51:52Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Variance Minimization in the Wasserstein Space for Invariant Causal Prediction [72.13445677280792]
  そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。 これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。 我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2021-10-13T22:30:47Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Non-Asymptotic Performance Guarantees for Neural Estimation of $\mathsf{f}$-Divergences [22.496696555768846]
  統計的距離は確率分布の相似性を定量化する。 このようなデータからの距離を推定する現代的な方法は、ニューラルネットワーク(NN)による変動形態のパラメータ化と最適化に依存する。 本稿では,このトレードオフを非漸近誤差境界を用いて検討し,SDの3つの一般的な選択に焦点をあてる。
  論文  参考訳（メタデータ） (2021-03-11T19:47:30Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。