論文の概要: Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression

• arxiv url: http://arxiv.org/abs/2202.05245v2
• Date: Fri, 11 Feb 2022 23:37:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 12:22:13.920382
• Title: Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression
• Title（参考訳）: 線形回帰による条件平均治療効果予測における良性オーバーフィット
• Authors: Masahiro Kato and Masaaki Imaizumi
• Abstract要約: 線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。 一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
• 参考スコア（独自算出の注目度）: 14.493176427999028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the benign overfitting theory in the prediction of the conditional average treatment effect (CATE), with linear regression models. As the development of machine learning for causal inference, a wide range of large-scale models for causality are gaining attention. One problem is that suspicions have been raised that the large-scale models are prone to overfitting to observations with sample selection, hence the large models may not be suitable for causal prediction. In this study, to resolve the suspicious, we investigate on the validity of causal inference methods for overparameterized models, by applying the recent theory of benign overfitting (Bartlett et al., 2020). Specifically, we consider samples whose distribution switches depending on an assignment rule, and study the prediction of CATE with linear models whose dimension diverges to infinity. We focus on two methods: the T-learner, which based on a difference between separately constructed estimators with each treatment group, and the inverse probability weight (IPW)-learner, which solves another regression problem approximated by a propensity score. In both methods, the estimator consists of interpolators that fit the samples perfectly. As a result, we show that the T-learner fails to achieve the consistency except the random assignment, while the IPW-learner converges the risk to zero if the propensity score is known. This difference stems from that the T-learner is unable to preserve eigenspaces of the covariances, which is necessary for benign overfitting in the overparameterized setting. Our result provides new insights into the usage of causal inference methods in the overparameterizated setting, in particular, doubly robust estimators.
• Abstract（参考訳）: 線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。 因果推論のための機械学習の開発が進むにつれ、さまざまな因果関係の大規模モデルが注目されている。 1つの問題は、大規模なモデルがサンプル選択による観測に過度に適合しやすいという疑念が持ち上がっているため、大きなモデルが因果予測に適さない可能性があることである。 本研究では,近年の良性過剰適合理論を適用して,過パラメータ化モデルに対する因果推論手法の有効性について検討する(Bartlett et al., 2020)。 具体的には、割り当て規則によって分布が切り替わるサンプルについて検討し、次元が無限大に分岐する線形モデルを用いてCATEの予測について検討する。 本稿では, 各治療群と個別に構築した推定器の違いに基づくTラーナーと, 相対性スコアによって近似された別の回帰問題を解く逆確率重み(IPW)ラーナーの2つの方法に焦点をあてる。 どちらの方法でも、推定器はサンプルに完全に適合する補間器で構成されている。 その結果,Tラーナーはランダムな割り当て以外の整合性を達成することができず,IPWラーナーは確率スコアが分かっていれば0に収束することを示した。 この違いは、t-リーナーが共変性の固有空間を保存することができないことに起因する。 その結果,過剰パラメータ設定,特に2倍ロバストな推定器における因果推論法の利用に関する新たな知見が得られた。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Awareness of uncertainty in classification using a multivariate model and multi-views [1.3048920509133808]
  提案モデルでは,不確かさ予測を正規化し,予測と不確かさ推定の両方を計算する訓練を行う。 複数ビュー予測と不確かさと信頼度を考慮し、最終的な予測を計算する方法をいくつか提案した。 提案手法はクリーンでノイズの多いラベル付きCIFAR-10データセットを用いて検証した。
  論文  参考訳（メタデータ） (2024-04-16T06:40:51Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Exploring Local Explanations of Nonlinear Models Using Animated Linear Projections [5.524804393257921]
  eXplainable AI(XAI)を使用して、モデルが予測器を使用して予測に到達する方法を示す。 予測器間の相互作用が変数重要度推定にどのように影響するかを理解するために,LVAを線形射影に変換することができる。 このアプローチは、分類学的(ペンギン種、チョコレートタイプ)と定量的(靴と足の給与、住宅価格)の応答モデルから例を示します。
  論文  参考訳（メタデータ） (2022-05-11T09:11:02Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。