論文の概要: STATE: A Robust ATE Estimator of Heavy-Tailed Metrics for Variance Reduction in Online Controlled Experiments
- arxiv url: http://arxiv.org/abs/2407.16337v1
- Date: Tue, 23 Jul 2024 09:35:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 17:45:51.893912
- Title: STATE: A Robust ATE Estimator of Heavy-Tailed Metrics for Variance Reduction in Online Controlled Experiments
- Title（参考訳）: STATE: オンライン制御実験における可変化のための重圧測定値のロバスト時間推定器
- Authors: Hao Zhou, Kun Sun, Shaoming Li, Yangfeng Fan, Guibin Jiang, Jiaqi Zheng, Tao Li,
- Abstract要約: 我々は、学生のt分布と機械学習ツールを統合して、ヘビーテールのメトリクスに適合する新しいフレームワークを開発する。
ログ類似度関数を最適化するために変分EM法を採用することにより、アウトリアの負の影響を大幅に排除するロバストな解を推測できる。
Meituan実験プラットフォーム上での合成データと長期実験結果のシミュレーションにより,本手法の有効性を実証した。
- 参考スコア（独自算出の注目度）: 22.32661807469984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online controlled experiments play a crucial role in enabling data-driven decisions across a wide range of companies. Variance reduction is an effective technique to improve the sensitivity of experiments, achieving higher statistical power while using fewer samples and shorter experimental periods. However, typical variance reduction methods (e.g., regression-adjusted estimators) are built upon the intuitional assumption of Gaussian distributions and cannot properly characterize the real business metrics with heavy-tailed distributions. Furthermore, outliers diminish the correlation between pre-experiment covariates and outcome metrics, greatly limiting the effectiveness of variance reduction. In this paper, we develop a novel framework that integrates the Student's t-distribution with machine learning tools to fit heavy-tailed metrics and construct a robust average treatment effect estimator in online controlled experiments, which we call STATE. By adopting a variational EM method to optimize the loglikehood function, we can infer a robust solution that greatly eliminates the negative impact of outliers and achieves significant variance reduction. Moreover, we extend the STATE method from count metrics to ratio metrics by utilizing linear transformation that preserves unbiased estimation, whose variance reduction is more complex but less investigated in existing works. Finally, both simulations on synthetic data and long-term empirical results on Meituan experiment platform demonstrate the effectiveness of our method. Compared with the state-of-the-art estimators (CUPAC/MLRATE), STATE achieves over 50% variance reduction, indicating it can reach the same statistical power with only half of the observations, or half the experimental duration.
- Abstract（参考訳）: オンラインのコントロールされた実験は、幅広い企業でデータ駆動による意思決定を可能にする上で重要な役割を担っている。
ばらつき低減は実験の感度を向上させるための有効な手法であり、より少ないサンプルと短い実験期間を使用しながら高い統計的パワーを達成する。
しかし、ガウス分布の直観的な仮定に基づいて、典型的な分散低減法(例えば回帰調整推定器)を構築し、重み付き分布で実ビジネスメトリクスを適切に特徴づけることができない。
さらに, 実験前の共変量と結果指標との相関を減少させ, 分散低減効果を著しく抑制する。
本稿では、学生のt分布を機械学習ツールと統合して、重み付きメトリクスに適合させ、オンライン制御実験においてロバストな平均処理効果推定器を構築し、STATEと呼ぶ新しいフレームワークを開発する。
ログ類似度関数を最適化するために変分EM法を採用することにより、アウトレーヤの負の影響を大幅に排除し、大きな分散還元を実現する頑健な解を推測できる。
さらに,STATE法をカウント指標から比尺度に拡張し,分散の低減がより複雑だが既存の研究ではあまり検討されていない不偏推定を保存する線形変換を利用する。
最後に,Meituan実験プラットフォーム上での合成データと長期実験結果のシミュレーションにより,本手法の有効性を実証した。
最先端推定器(CUPAC/MLRATE)と比較すると、STATEは50%以上のばらつき低減を実現しており、観測のわずか半分、または実験期間の半分で同じ統計力に達することが示されている。
関連論文リスト
- Variance reduction combining pre-experiment and in-experiment data [0.0]
オンライン制御実験(A/Bテスト)は、多くの企業にとって、データ駆動による意思決定に不可欠である。
CUPEDやCUPACのような既存の手法では、実験前のデータを使って分散を減らすが、その効果は実験前のデータと結果の相関に依存する。
実験前データと実験内データを組み合わせて, CUPED や CUPAC よりも高分散化を実現する手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T17:45:29Z) - Assumption-Lean Post-Integrated Inference with Negative Control Outcomes [0.0]
負の制御結果を用いて遅延不均一性を調整する頑健なポストインテグレート推論(PII)手法を提案する。
提案手法は,予測された直接効果推定値,隠された仲介者,共同設立者,モデレーターまで拡張する。
提案された二重頑健な推定器は、最小の仮定と潜在的な不特定性の下で一貫性があり、効率的である。
論文 参考訳（メタデータ） (2024-10-07T12:52:38Z) - Estimating Distributional Treatment Effects in Randomized Experiments: Machine Learning for Variance Reduction [6.909352249236339]
ランダム化実験における分散処理効果パラメータを推定するための新しい回帰調整法を提案する。
提案手法では,事前処理による協調処理を分散回帰フレームワークに組み込み,機械学習技術を用いて分散処理効果推定器の精度を向上させる。
論文 参考訳（メタデータ） (2024-07-22T20:28:29Z) - Adaptive Instrument Design for Indirect Experiments [48.815194906471405]
RCTとは異なり、間接的な実験は条件付き機器変数を利用して治療効果を推定する。
本稿では,データ収集ポリシーを適応的に設計することで,間接実験におけるサンプル効率の向上に向けた最初のステップについて述べる。
我々の主な貢献は、影響関数を利用して最適なデータ収集ポリシーを探索する実用的な計算手順である。
論文 参考訳（メタデータ） (2023-12-05T02:38:04Z) - Counterfactual Data Augmentation with Contrastive Learning [27.28511396131235]
本稿では,選択したサブセットに対して,結果に反する結果をもたらすモデルに依存しないデータ拡張手法を提案する。
我々は、比較学習を用いて表現空間と類似度尺度を学習し、学習された類似度尺度で同定された個人に近い学習空間において、同様の潜在的な結果が得られるようにした。
この性質は、代替治療群から近接した近縁者に対する対実的な結果の信頼性の高い計算を保証する。
論文 参考訳（メタデータ） (2023-11-07T00:36:51Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳（メタデータ） (2023-10-29T09:54:03Z) - Adapting to Continuous Covariate Shift via Online Density Ratio Estimation [64.8027122329609]
分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。
歴史的情報を適切に再利用するオンライン手法を提案する。
我々の密度比推定法は, ダイナミックなリセットバウンドを楽しむことにより, 良好に動作できることが証明された。
論文 参考訳（メタデータ） (2023-02-06T04:03:33Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Machine Learning for Variance Reduction in Online Experiments [1.9181913148426697]
MLRATEと呼ばれる機械学習回帰調整処理効果推定器を提案する。
MLRATEは、結果の機械学習予測器を使用して推定値の分散を低減する。
A/Aテストでは、Facebookの実験で一般的に監視される48の結果メトリクスのセットに対して、推定器は単純な差分推定器よりも70%以上低いばらつきを持つ。
論文 参考訳（メタデータ） (2021-06-14T09:35:54Z) - Efficient Causal Inference from Combined Observational and
Interventional Data through Causal Reductions [68.6505592770171]
因果効果を推定する際の主な課題の1つである。
そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。
パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T14:29:07Z) - Increasing the efficiency of randomized trial estimates via linear
adjustment for a prognostic score [59.75318183140857]
ランダム化実験による因果効果の推定は臨床研究の中心である。
歴史的借用法のほとんどは、厳格なタイプiエラー率制御を犠牲にして分散の削減を達成する。
論文 参考訳（メタデータ） (2020-12-17T21:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。