論文の概要: Machine Learning for Variance Reduction in Online Experiments

• arxiv url: http://arxiv.org/abs/2106.07263v1
• Date: Mon, 14 Jun 2021 09:35:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:26:45.778064
• Title: Machine Learning for Variance Reduction in Online Experiments
• Title（参考訳）: オンライン実験における分散化のための機械学習
• Authors: Yongyi Guo, Dominic Coey, Mikael Konutgan, Wenting Li, Chris Schoener, Matt Goldman
• Abstract要約: MLRATEと呼ばれる機械学習回帰調整処理効果推定器を提案する。 A/Aテストでは、Facebookの実験で一般的に監視される48の結果メトリクスのセットに対して、推定器は単純な差分推定器よりも70%以上低いばらつきを持つ。
• 参考スコア（独自算出の注目度）: 1.9181913148426697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of variance reduction in randomized controlled trials, through the use of covariates correlated with the outcome but independent of the treatment. We propose a machine learning regression-adjusted treatment effect estimator, which we call MLRATE. MLRATE uses machine learning predictors of the outcome to reduce estimator variance. It employs cross-fitting to avoid overfitting biases, and we prove consistency and asymptotic normality under general conditions. MLRATE is robust to poor predictions from the machine learning step: if the predictions are uncorrelated with the outcomes, the estimator performs asymptotically no worse than the standard difference-in-means estimator, while if predictions are highly correlated with outcomes, the efficiency gains are large. In A/A tests, for a set of 48 outcome metrics commonly monitored in Facebook experiments the estimator has over 70\% lower variance than the simple difference-in-means estimator, and about 19\% lower variance than the common univariate procedure which adjusts only for pre-experiment values of the outcome.
• Abstract（参考訳）: 本研究では,無作為化実験における分散低減の問題点を,結果と相関するが治療とは無関係な共変量を用いて検討する。 そこで,我々はmlrateと呼ぶ機械学習回帰調整治療効果推定器を提案する。 MLRATEは、結果の機械学習予測器を使用して推定値の分散を低減する。 バイアスの過度な適合を避けるためにクロスフィッティングを採用し、一般的な条件下での一貫性と漸近正規性を証明する。 mlrateは、機械学習のステップから低い予測に堅牢である:もし予測が結果と無関係なら、推定者は標準の差分推定器よりも漸近的に実行され、予測が結果と高い相関関係にある場合、効率向上は大きい。 A/Aテストでは、Facebook実験で一般的に監視される48の結果指標のセットに対して、推定器は単純な差分推定器よりも70%以上分散し、結果の事前実験値にのみ適応する一般的な単変量法よりも約19パーセント低い分散を有する。

関連論文リスト

• STATE: A Robust ATE Estimator of Heavy-Tailed Metrics for Variance Reduction in Online Controlled Experiments [22.32661807469984]
  我々は、学生のt分布と機械学習ツールを統合して、ヘビーテールのメトリクスに適合する新しいフレームワークを開発する。 ログ類似度関数を最適化するために変分EM法を採用することにより、アウトリアの負の影響を大幅に排除するロバストな解を推測できる。 Meituan実験プラットフォーム上での合成データと長期実験結果のシミュレーションにより,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-07-23T09:35:59Z)
• Multi-CATE: Multi-Accurate Conditional Average Treatment Effect Estimation Robust to Unknown Covariate Shifts [12.289361708127876]
  我々は、CATE T-learnerを後処理するために、マルチ精度の予測子を学習するために方法論を使用する。 このアプローチは、(より大きな)確立された観測データと(より小さな)ランダム化されたデータセットを組み合わせることができることを示す。
  論文  参考訳（メタデータ） (2024-05-28T14:12:25Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Propensity score models are better when post-calibrated [0.32228025627337864]
  ポスト校正は、表現的未校正統計推定器における効果推定における誤差を低減する。 効果推定の改善とポスト校正が計算的に安価であることを考えると、表現的モデルを用いて確率スコアをモデル化する場合に採用することを推奨する。
  論文  参考訳（メタデータ） (2022-11-02T16:01:03Z)
• Expected Validation Performance and Estimation of a Random Variable's Maximum [48.83713377993604]
  予測された検証性能に対する3つの統計的推定器を解析する。 偏りのない推定器は最も分散度が高く、最小分散度を持つ推定器は最大のバイアスを持つ。 2つの偏りのある推定器は、最も少ない誤った結論につながる。
  論文  参考訳（メタデータ） (2021-10-01T18:48:47Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Two-Stage TMLE to Reduce Bias and Improve Efficiency in Cluster Randomized Trials [0.0]
  クラスタランダム化トライアル(CRT)は、ランダムに個人グループへの介入を割り当て、それらのグループ内の個人に対する結果を測定する。 クラスタ内の一部の個人には発見が欠落することが多い。 CRTは、しばしば限られた数のクラスターをランダムにし、その結果、腕間のベースライン結果予測器に不均衡をもたらす。
  論文  参考訳（メタデータ） (2021-06-29T21:47:30Z)
• Increasing the efficiency of randomized trial estimates via linear adjustment for a prognostic score [59.75318183140857]
  ランダム化実験による因果効果の推定は臨床研究の中心である。 歴史的借用法のほとんどは、厳格なタイプiエラー率制御を犠牲にして分散の削減を達成する。
  論文  参考訳（メタデータ） (2020-12-17T21:10:10Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。