論文の概要: Augmented balancing weights as linear regression
- arxiv url: http://arxiv.org/abs/2304.14545v2
- Date: Sun, 13 Aug 2023 00:07:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 19:59:32.568173
- Title: Augmented balancing weights as linear regression
- Title(参考訳): 線形回帰としての増大バランスウェイト
- Authors: David Bruns-Smith, Oliver Dukes, Avi Feller, and Elizabeth L. Ogburn
- Abstract要約: 自動脱バイアス機械学習(AutoDML)としても知られる拡張バランスウェイトの特徴を新たに提供する。
これらの人気の高い2倍堅牢または2倍の機械学習推定器は、結果モデリングと重みのバランスをとる。
- 参考スコア(独自算出の注目度): 3.877356414450364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We provide a novel characterization of augmented balancing weights, also
known as automatic debiased machine learning (AutoDML). These popular doubly
robust or double machine learning estimators combine outcome modeling with
balancing weights -- weights that achieve covariate balance directly in lieu of
estimating and inverting the propensity score. When the outcome and weighting
models are both linear in some (possibly infinite) basis, we show that the
augmented estimator is equivalent to a single linear model with coefficients
that combine the coefficients from the original outcome model coefficients and
coefficients from an unpenalized ordinary least squares (OLS) fit on the same
data; in many real-world applications the augmented estimator collapses to the
OLS estimate alone. We then extend these results to specific choices of outcome
and weighting models. We first show that the augmented estimator that uses
(kernel) ridge regression for both outcome and weighting models is equivalent
to a single, undersmoothed (kernel) ridge regression. This holds numerically in
finite samples and lays the groundwork for a novel analysis of undersmoothing
and asymptotic rates of convergence. When the weighting model is instead
lasso-penalized regression, we give closed-form expressions for special cases
and demonstrate a ``double selection'' property. Our framework opens the black
box on this increasingly popular class of estimators, bridges the gap between
existing results on the semiparametric efficiency of undersmoothed and doubly
robust estimators, and provides new insights into the performance of augmented
balancing weights.
- Abstract(参考訳): 本稿では,自動脱バイアス機械学習(AutoDML)としても知られる拡張バランスウェイトの特徴について述べる。
これら2重のロバストあるいは2重機械学習推定器は、結果モデリングと、確率スコアの推定と反転の代わりに直接共変バランスを達成する重みのバランスを組み合わせる。
結果モデルと重み付けモデルの両方が、ある(おそらく無限)基底で線型である場合、拡張推定器は、元の結果モデル係数から係数と、同じデータに収まる未定の通常の最小二乗(OLS)から係数を結合した係数を持つ単一の線形モデルと等価であることを示す。
次にこれらの結果を、結果と重み付けモデルの特定の選択に拡張します。
まず,結果モデルと重み付けモデルの両方に(ケネル)リッジ回帰を用いる拡張推定器は,シングル・アンダースムース(ケネル)リッジ回帰と等価であることを示す。
これは有限なサンプルで数値的に保持され、アンダースムーシングと漸近収束率の新しい解析の基礎となる。
重み付けモデルがラッソペナル化回帰である場合、特殊ケースに対して閉形式表現を与え、 ``double selection' 特性を示す。
我々のフレームワークは、この人気の高い推定器のクラスにブラックボックスを開き、アンダースムースとダブルロバストな推定器の半パラメトリック効率に関する既存の結果のギャップを埋め、拡張バランスウェイトの性能に関する新たな洞察を提供する。
関連論文リスト
- Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳(メタデータ) (2023-06-01T15:18:55Z) - Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo
sampling [58.14878401145309]
PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。
Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
論文 参考訳(メタデータ) (2022-05-12T11:15:47Z) - Are Latent Factor Regression and Sparse Regression Adequate? [0.49416305961918056]
準ガウス雑音と重み付き雑音の存在下でのモデル推定に関する理論的保証を提供する。
本稿ではFacter-Adjusted de-Biased Test (FabTest) と2段階のANOVA型テストを提案する。
数値計算の結果,潜在因子回帰モデルと疎線形回帰モデルに対するモデルの有効性と有効性を示した。
論文 参考訳(メタデータ) (2022-03-02T16:22:23Z) - Tuned Regularized Estimators for Linear Regression via Covariance
Fitting [17.46329281993348]
線形モデルに対する調律正規化パラメータ推定器の探索問題を考える。
3つの既知の最適線形推定器がより広いクラスの推定器に属することを示す。
得られた推定器のクラスは、既知の正規化推定器のチューニングバージョンを得ることを示す。
論文 参考訳(メタデータ) (2022-01-21T16:08:08Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Adversarial Regression with Doubly Non-negative Weighting Matrices [25.733130388781476]
二重非負行列を用いてサンプル重みをパラメータ化することにより、カーネル再重み付け回帰の新しいコヒーレントな手法を提案する。
数値実験により、我々の再重み付け戦略は多くのデータセットに対して有望な結果をもたらすことが示された。
論文 参考訳(メタデータ) (2021-09-30T06:41:41Z) - Flexible Model Aggregation for Quantile Regression [92.63075261170302]
量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。
条件付き量子モデルの任意の数を集約する手法について検討する。
この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
論文 参考訳(メタデータ) (2021-02-26T23:21:16Z) - An $l_1$-oracle inequality for the Lasso in high-dimensional mixtures of
experts models [2.494740426749958]
ソフトマックスゲーティング関数を持つ有限MoEモデルとガウスの専門家による異種データの高次元回帰について検討する。
特徴選択特性よりもラッソ推定特性に着目した。
論文 参考訳(メタデータ) (2020-09-22T15:23:35Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - A Locally Adaptive Interpretable Regression [7.4267694612331905]
線形回帰は最も解釈可能な予測モデルの一つである。
本稿では,局所適応型解釈型回帰(LoAIR)を導入する。
我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
論文 参考訳(メタデータ) (2020-05-07T09:26:14Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。