論文の概要: Variance reduction combining pre-experiment and in-experiment data

• arxiv url: http://arxiv.org/abs/2410.09027v1
• Date: Fri, 11 Oct 2024 17:45:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 20:26:51.491544
• Title: Variance reduction combining pre-experiment and in-experiment data
• Title（参考訳）: 実験前データと実験内データを組み合わせた分散化
• Authors: Zhexiao Lin, Pablo Crespo,
• Abstract要約: オンライン制御実験(A/Bテスト)は、多くの企業にとって、データ駆動による意思決定に不可欠である。 CUPEDやCUPACのような既存の手法では、実験前のデータを使って分散を減らすが、その効果は実験前のデータと結果の相関に依存する。 実験前データと実験内データを組み合わせて, CUPED や CUPAC よりも高分散化を実現する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online controlled experiments (A/B testing) are essential in data-driven decision-making for many companies. Increasing the sensitivity of these experiments, particularly with a fixed sample size, relies on reducing the variance of the estimator for the average treatment effect (ATE). Existing methods like CUPED and CUPAC use pre-experiment data to reduce variance, but their effectiveness depends on the correlation between the pre-experiment data and the outcome. In contrast, in-experiment data is often more strongly correlated with the outcome and thus more informative. In this paper, we introduce a novel method that combines both pre-experiment and in-experiment data to achieve greater variance reduction than CUPED and CUPAC, without introducing bias or additional computation complexity. We also establish asymptotic theory and provide consistent variance estimators for our method. Applying this method to multiple online experiments at Etsy, we reach substantial variance reduction over CUPAC with the inclusion of only a few in-experiment covariates. These results highlight the potential of our approach to significantly improve experiment sensitivity and accelerate decision-making.
• Abstract（参考訳）: オンライン制御実験(A/Bテスト)は、多くの企業にとって、データ駆動による意思決定に不可欠である。 これらの実験の感度を高めることは、特に一定のサンプルサイズで、平均処理効果(ATE)に対する推定器の分散を減少させることに依存する。 CUPEDやCUPACのような既存の手法では、実験前のデータを使って分散を減らすが、その効果は実験前のデータと結果の相関に依存する。 対照的に、実験中のデータは結果と強く相関し、情報的になることが多い。 本稿では, CUPED や CUPAC よりも高分散化を実現するために, 実験前データと実験内データを組み合わせた新しい手法を提案する。 また、漸近理論を確立し、本手法に対して一貫した分散推定器を提供する。 この手法をEtsyにおける複数オンライン実験に適用することにより、実験中の共変量しか含まないCUPACに対して、相当なばらつきを低減できる。 これらの結果は、実験感度を大幅に改善し、意思決定を加速するアプローチの可能性を強調している。

関連論文リスト

• Not All Samples Should Be Utilized Equally: Towards Understanding and Improving Dataset Distillation [57.6797306341115]
  我々は,サンプル難易度の観点から,マッチングに基づくDD手法の理解に向けて最初の一歩を踏み出した。 次に、データプルーニングのニューラルネットワークスケーリング法則をDDに拡張し、これらのマッチングベースの手法を理論的に説明する。 SDC(Sampple Difficulty Correction)アプローチを導入し、より簡単なサンプルを生成して、より高いデータセット品質を実現する。
  論文  参考訳（メタデータ） (2024-08-22T15:20:32Z)
• STATE: A Robust ATE Estimator of Heavy-Tailed Metrics for Variance Reduction in Online Controlled Experiments [22.32661807469984]
  我々は、学生のt分布と機械学習ツールを統合して、ヘビーテールのメトリクスに適合する新しいフレームワークを開発する。 ログ類似度関数を最適化するために変分EM法を採用することにより、アウトリアの負の影響を大幅に排除するロバストな解を推測できる。 Meituan実験プラットフォーム上での合成データと長期実験結果のシミュレーションにより,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-07-23T09:35:59Z)
• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。 本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Active Adaptive Experimental Design for Treatment Effect Estimation with Covariate Choices [7.21848268647674]
  本研究では,平均治療効果(ATE)を効率的に推定するための適応実験を設計する。 適応実験の各ラウンドでは、実験者が実験ユニットをサンプリングし、治療を割り当て、その結果を直ちに観察する。 実験の最後に、実験者は収集されたサンプルを用いてATEを推定する。
  論文  参考訳（メタデータ） (2024-03-06T10:24:44Z)
• Adaptive Instrument Design for Indirect Experiments [48.815194906471405]
  RCTとは異なり、間接的な実験は条件付き機器変数を利用して治療効果を推定する。 本稿では,データ収集ポリシーを適応的に設計することで,間接実験におけるサンプル効率の向上に向けた最初のステップについて述べる。 我々の主な貢献は、影響関数を利用して最適なデータ収集ポリシーを探索する実用的な計算手順である。
  論文  参考訳（メタデータ） (2023-12-05T02:38:04Z)
• Detecting Adversarial Data by Probing Multiple Perturbations Using Expected Perturbation Score [62.54911162109439]
  逆方向検出は、自然分布と逆方向分布の差に基づいて、与えられたサンプルが逆方向であるかどうかを判定することを目的としている。 本研究では,様々な摂動後の標本の予測スコアであるEPS(pre expected perturbation score)を提案する。 EPSに基づく最大平均誤差(MMD)を,試験試料と自然試料との差を測定する指標として開発する。
  論文  参考訳（メタデータ） (2023-05-25T13:14:58Z)
• What can the millions of random treatments in nonexperimental data reveal about causes? [0.0]
  この記事ではこのようなモデルとベイズ的アプローチを紹介し、非経験的データで典型的に使用可能な 1(n2)$ のペアワイズ観測を組み合わせる。 提案手法は, 一般のnswサンプル, 任意のサブポピュレーションおよび大容量スーパーサンプルにおいて, 因果効果を回復することを示す。
  論文  参考訳（メタデータ） (2021-05-03T20:13:34Z)
• Efficient Causal Inference from Combined Observational and Interventional Data through Causal Reductions [68.6505592770171]
  因果効果を推定する際の主な課題の1つである。 そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。 パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T14:29:07Z)
• Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
  判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。 線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-05-08T05:09:08Z)
• Estimating the number and effect sizes of non-null hypotheses [14.34147140416535]
  効果の大きさの分布を知ることで、実験的な設計のパワー(タイプIIエラー)を計算することができる。 我々の推定器は、将来の実験で与えられた実験設計を用いて行われる発見の数を保証するために使用できる。
  論文  参考訳（メタデータ） (2020-02-17T23:20:21Z)
• Efficient Adaptive Experimental Design for Average Treatment Effect Estimation [18.027128141189355]
  本研究では, 依存サンプルから構築した推定器を用いた効率的な実験法を提案する。 提案手法を正当化するために,有限および無限サンプル解析を行う。
  論文  参考訳（メタデータ） (2020-02-13T02:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。