論文の概要: Augmented balancing weights as linear regression
- arxiv url: http://arxiv.org/abs/2304.14545v1
- Date: Thu, 27 Apr 2023 21:53:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-01 15:47:35.664097
- Title: Augmented balancing weights as linear regression
- Title(参考訳): 線形回帰としての増大バランスウェイト
- Authors: David Bruns-Smith, Oliver Dukes, Avi Feller, and Elizabeth L. Ogburn
- Abstract要約: 自動脱バイアス機械学習(AutoDML)としても知られる拡張バランスウェイトの特徴を新たに提供する。
これらの推定器は、結果モデリングとバランスウェイトを組み合わせることで、逆確率スコアの重みを直接推定する。
- 参考スコア(独自算出の注目度): 5.627791592656775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We provide a novel characterization of augmented balancing weights, also
known as Automatic Debiased Machine Learning (AutoDML). These estimators
combine outcome modeling with balancing weights, which estimate inverse
propensity score weights directly. When the outcome and weighting models are
both linear in some (possibly infinite) basis, we show that the augmented
estimator is equivalent to a single linear model with coefficients that combine
the original outcome model coefficients and OLS; in many settings, the
augmented estimator collapses to OLS alone. We then extend these results to
specific choices of outcome and weighting models. We first show that the
combined estimator that uses (kernel) ridge regression for both outcome and
weighting models is equivalent to a single, undersmoothed (kernel) ridge
regression; this also holds when considering asymptotic rates. When the
weighting model is instead lasso regression, we give closed-form expressions
for special cases and demonstrate a ``double selection'' property. Finally, we
generalize these results to linear estimands via the Riesz representer. Our
framework ``opens the black box'' on these increasingly popular estimators and
provides important insights into estimation choices for augmented balancing
weights.
- Abstract(参考訳): 自動脱バイアス機械学習(AutoDML)としても知られる拡張バランスウェイトの特徴について述べる。
これらの推定子は、結果モデリングとバランスウェイトを組み合わせることで、逆確率スコアの重みを直接推定する。
結果モデルと重み付けモデルの両方が(おそらく無限に)線形である場合、拡張推定器は元の結果モデル係数とOLSを結合した係数を持つ単一の線形モデルと等価であることを示し、多くの設定において、拡張推定器はOLSのみに崩壊する。
次にこれらの結果を、結果と重み付けモデルの特定の選択に拡張します。
まず, 結果と重み付けモデルの両方に(ケネル)リッジ回帰を用いる組み合わせ推定器は, 単一の沈降(ケネル)リッジ回帰と同値であることを示した。
重み付けモデルがラッソ回帰であるとき、特殊ケースに対して閉形式表現を与え、 ``double selection' 特性を示す。
最後に、これらの結果をリース表現器を介して線形推定に一般化する。
我々のフレームワークは、これらの人気の高い推定器の'オープンズ・ザ・ブラックボックス'であり、重み付けの強化のための推定選択に関する重要な洞察を提供する。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [70.9098740785845]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳(メタデータ) (2024-05-01T15:59:00Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳(メタデータ) (2023-06-01T15:18:55Z) - Are Latent Factor Regression and Sparse Regression Adequate? [0.49416305961918056]
準ガウス雑音と重み付き雑音の存在下でのモデル推定に関する理論的保証を提供する。
本稿ではFacter-Adjusted de-Biased Test (FabTest) と2段階のANOVA型テストを提案する。
数値計算の結果,潜在因子回帰モデルと疎線形回帰モデルに対するモデルの有効性と有効性を示した。
論文 参考訳(メタデータ) (2022-03-02T16:22:23Z) - Tuned Regularized Estimators for Linear Regression via Covariance
Fitting [17.46329281993348]
線形モデルに対する調律正規化パラメータ推定器の探索問題を考える。
3つの既知の最適線形推定器がより広いクラスの推定器に属することを示す。
得られた推定器のクラスは、既知の正規化推定器のチューニングバージョンを得ることを示す。
論文 参考訳(メタデータ) (2022-01-21T16:08:08Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Adversarial Regression with Doubly Non-negative Weighting Matrices [25.733130388781476]
二重非負行列を用いてサンプル重みをパラメータ化することにより、カーネル再重み付け回帰の新しいコヒーレントな手法を提案する。
数値実験により、我々の再重み付け戦略は多くのデータセットに対して有望な結果をもたらすことが示された。
論文 参考訳(メタデータ) (2021-09-30T06:41:41Z) - Flexible Model Aggregation for Quantile Regression [92.63075261170302]
量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。
条件付き量子モデルの任意の数を集約する手法について検討する。
この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
論文 参考訳(メタデータ) (2021-02-26T23:21:16Z) - An $l_1$-oracle inequality for the Lasso in high-dimensional mixtures of
experts models [2.494740426749958]
ソフトマックスゲーティング関数を持つ有限MoEモデルとガウスの専門家による異種データの高次元回帰について検討する。
特徴選択特性よりもラッソ推定特性に着目した。
論文 参考訳(メタデータ) (2020-09-22T15:23:35Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - A Locally Adaptive Interpretable Regression [7.4267694612331905]
線形回帰は最も解釈可能な予測モデルの一つである。
本稿では,局所適応型解釈型回帰(LoAIR)を導入する。
我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
論文 参考訳(メタデータ) (2020-05-07T09:26:14Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。