論文の概要: Augmented balancing weights as linear regression
- arxiv url: http://arxiv.org/abs/2304.14545v1
- Date: Thu, 27 Apr 2023 21:53:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-01 15:47:35.664097
- Title: Augmented balancing weights as linear regression
- Title(参考訳): 線形回帰としての増大バランスウェイト
- Authors: David Bruns-Smith, Oliver Dukes, Avi Feller, and Elizabeth L. Ogburn
- Abstract要約: 自動脱バイアス機械学習(AutoDML)としても知られる拡張バランスウェイトの特徴を新たに提供する。
これらの推定器は、結果モデリングとバランスウェイトを組み合わせることで、逆確率スコアの重みを直接推定する。
- 参考スコア(独自算出の注目度): 5.627791592656775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We provide a novel characterization of augmented balancing weights, also
known as Automatic Debiased Machine Learning (AutoDML). These estimators
combine outcome modeling with balancing weights, which estimate inverse
propensity score weights directly. When the outcome and weighting models are
both linear in some (possibly infinite) basis, we show that the augmented
estimator is equivalent to a single linear model with coefficients that combine
the original outcome model coefficients and OLS; in many settings, the
augmented estimator collapses to OLS alone. We then extend these results to
specific choices of outcome and weighting models. We first show that the
combined estimator that uses (kernel) ridge regression for both outcome and
weighting models is equivalent to a single, undersmoothed (kernel) ridge
regression; this also holds when considering asymptotic rates. When the
weighting model is instead lasso regression, we give closed-form expressions
for special cases and demonstrate a ``double selection'' property. Finally, we
generalize these results to linear estimands via the Riesz representer. Our
framework ``opens the black box'' on these increasingly popular estimators and
provides important insights into estimation choices for augmented balancing
weights.
- Abstract(参考訳): 自動脱バイアス機械学習(AutoDML)としても知られる拡張バランスウェイトの特徴について述べる。
これらの推定子は、結果モデリングとバランスウェイトを組み合わせることで、逆確率スコアの重みを直接推定する。
結果モデルと重み付けモデルの両方が(おそらく無限に)線形である場合、拡張推定器は元の結果モデル係数とOLSを結合した係数を持つ単一の線形モデルと等価であることを示し、多くの設定において、拡張推定器はOLSのみに崩壊する。
次にこれらの結果を、結果と重み付けモデルの特定の選択に拡張します。
まず, 結果と重み付けモデルの両方に(ケネル)リッジ回帰を用いる組み合わせ推定器は, 単一の沈降(ケネル)リッジ回帰と同値であることを示した。
重み付けモデルがラッソ回帰であるとき、特殊ケースに対して閉形式表現を与え、 ``double selection' 特性を示す。
最後に、これらの結果をリース表現器を介して線形推定に一般化する。
我々のフレームワークは、これらの人気の高い推定器の'オープンズ・ザ・ブラックボックス'であり、重み付けの強化のための推定選択に関する重要な洞察を提供する。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳(メタデータ) (2024-07-11T13:28:34Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳(メタデータ) (2024-05-01T15:59:00Z) - Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。
これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
論文 参考訳(メタデータ) (2024-03-03T04:21:21Z) - Are Latent Factor Regression and Sparse Regression Adequate? [0.49416305961918056]
準ガウス雑音と重み付き雑音の存在下でのモデル推定に関する理論的保証を提供する。
本稿ではFacter-Adjusted de-Biased Test (FabTest) と2段階のANOVA型テストを提案する。
数値計算の結果,潜在因子回帰モデルと疎線形回帰モデルに対するモデルの有効性と有効性を示した。
論文 参考訳(メタデータ) (2022-03-02T16:22:23Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳(メタデータ) (2022-02-10T18:51:52Z) - Tuned Regularized Estimators for Linear Regression via Covariance
Fitting [17.46329281993348]
線形モデルに対する調律正規化パラメータ推定器の探索問題を考える。
3つの既知の最適線形推定器がより広いクラスの推定器に属することを示す。
得られた推定器のクラスは、既知の正規化推定器のチューニングバージョンを得ることを示す。
論文 参考訳(メタデータ) (2022-01-21T16:08:08Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳(メタデータ) (2021-12-29T23:37:06Z) - Adversarial Regression with Doubly Non-negative Weighting Matrices [25.733130388781476]
二重非負行列を用いてサンプル重みをパラメータ化することにより、カーネル再重み付け回帰の新しいコヒーレントな手法を提案する。
数値実験により、我々の再重み付け戦略は多くのデータセットに対して有望な結果をもたらすことが示された。
論文 参考訳(メタデータ) (2021-09-30T06:41:41Z) - Flexible Model Aggregation for Quantile Regression [92.63075261170302]
量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。
条件付き量子モデルの任意の数を集約する手法について検討する。
この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
論文 参考訳(メタデータ) (2021-02-26T23:21:16Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - A Locally Adaptive Interpretable Regression [7.4267694612331905]
線形回帰は最も解釈可能な予測モデルの一つである。
本稿では,局所適応型解釈型回帰(LoAIR)を導入する。
我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
論文 参考訳(メタデータ) (2020-05-07T09:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。