論文の概要: Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression
- arxiv url: http://arxiv.org/abs/2202.05245v2
- Date: Fri, 11 Feb 2022 23:37:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 12:22:13.920382
- Title: Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression
- Title(参考訳): 線形回帰による条件平均治療効果予測における良性オーバーフィット
- Authors: Masahiro Kato and Masaaki Imaizumi
- Abstract要約: 線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
- 参考スコア(独自算出の注目度): 14.493176427999028
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the benign overfitting theory in the prediction of the conditional
average treatment effect (CATE), with linear regression models. As the
development of machine learning for causal inference, a wide range of
large-scale models for causality are gaining attention. One problem is that
suspicions have been raised that the large-scale models are prone to
overfitting to observations with sample selection, hence the large models may
not be suitable for causal prediction. In this study, to resolve the
suspicious, we investigate on the validity of causal inference methods for
overparameterized models, by applying the recent theory of benign overfitting
(Bartlett et al., 2020). Specifically, we consider samples whose distribution
switches depending on an assignment rule, and study the prediction of CATE with
linear models whose dimension diverges to infinity. We focus on two methods:
the T-learner, which based on a difference between separately constructed
estimators with each treatment group, and the inverse probability weight
(IPW)-learner, which solves another regression problem approximated by a
propensity score. In both methods, the estimator consists of interpolators that
fit the samples perfectly. As a result, we show that the T-learner fails to
achieve the consistency except the random assignment, while the IPW-learner
converges the risk to zero if the propensity score is known. This difference
stems from that the T-learner is unable to preserve eigenspaces of the
covariances, which is necessary for benign overfitting in the overparameterized
setting. Our result provides new insights into the usage of causal inference
methods in the overparameterizated setting, in particular, doubly robust
estimators.
- Abstract(参考訳): 線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
因果推論のための機械学習の開発が進むにつれ、さまざまな因果関係の大規模モデルが注目されている。
1つの問題は、大規模なモデルがサンプル選択による観測に過度に適合しやすいという疑念が持ち上がっているため、大きなモデルが因果予測に適さない可能性があることである。
本研究では,近年の良性過剰適合理論を適用して,過パラメータ化モデルに対する因果推論手法の有効性について検討する(Bartlett et al., 2020)。
具体的には、割り当て規則によって分布が切り替わるサンプルについて検討し、次元が無限大に分岐する線形モデルを用いてCATEの予測について検討する。
本稿では, 各治療群と個別に構築した推定器の違いに基づくTラーナーと, 相対性スコアによって近似された別の回帰問題を解く逆確率重み(IPW)ラーナーの2つの方法に焦点をあてる。
どちらの方法でも、推定器はサンプルに完全に適合する補間器で構成されている。
その結果,Tラーナーはランダムな割り当て以外の整合性を達成することができず,IPWラーナーは確率スコアが分かっていれば0に収束することを示した。
この違いは、t-リーナーが共変性の固有空間を保存することができないことに起因する。
その結果,過剰パラメータ設定,特に2倍ロバストな推定器における因果推論法の利用に関する新たな知見が得られた。
関連論文リスト
- Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳(メタデータ) (2023-09-28T13:04:11Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳(メタデータ) (2023-09-02T01:27:53Z) - Performative Prediction with Neural Networks [22.66295224352892]
パフォーマンス予測は、予測するデータに影響を与えるモデルを学習するためのフレームワークである。
繰り返しリスク最小化法を用いて、性能的に安定な分類器を見つけるための標準収束結果は、データの分布がモデルのパラメータに連続であることを仮定する。
この研究では、データ分布はモデルの予測に関してリプシッツ連続であると仮定する。
論文 参考訳(メタデータ) (2023-04-14T01:12:48Z) - Exploring Local Explanations of Nonlinear Models Using Animated Linear
Projections [5.524804393257921]
eXplainable AI(XAI)を使用して、モデルが予測器を使用して予測に到達する方法を示す。
予測器間の相互作用が変数重要度推定にどのように影響するかを理解するために,LVAを線形射影に変換することができる。
このアプローチは、分類学的(ペンギン種、チョコレートタイプ)と定量的(靴と足の給与、住宅価格)の応答モデルから例を示します。
論文 参考訳(メタデータ) (2022-05-11T09:11:02Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳(メタデータ) (2021-10-13T01:23:48Z) - Binary Classification of Gaussian Mixtures: Abundance of Support
Vectors, Benign Overfitting and Regularization [39.35822033674126]
生成ガウス混合モデルに基づく二項線形分類について検討する。
後者の分類誤差に関する新しい非漸近境界を導出する。
この結果は, 確率が一定である雑音モデルに拡張される。
論文 参考訳(メタデータ) (2020-11-18T07:59:55Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-04-21T23:09:55Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳(メタデータ) (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。