論文の概要: Setting the duration of online A/B experiments
- arxiv url: http://arxiv.org/abs/2408.02830v1
- Date: Mon, 5 Aug 2024 20:55:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 15:38:41.214558
- Title: Setting the duration of online A/B experiments
- Title（参考訳）: オンラインA/B実験の期間設定
- Authors: Harrison H. Li, Chaoyu Yu,
- Abstract要約: 本稿では, 比例処理効果推定器に基づくCI幅の解析式について述べる。
本稿では,YouTubeにおける実A/B実験のCI幅を詳細に解説する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In designing an online A/B experiment, it is crucial to select a sample size and duration that ensure the resulting confidence interval (CI) for the treatment effect is the right width to detect an effect of meaningful magnitude with sufficient statistical power without wasting resources. While the relationship between sample size and CI width is well understood, the effect of experiment duration on CI width remains less clear. This paper provides an analytical formula for the width of a CI based on a ratio treatment effect estimator as a function of both sample size (N) and duration (T). The formula is derived from a mixed effects model with two variance components. One component, referred to as the temporal variance, persists over time for experiments where the same users are kept in the same experiment arm across different days. The remaining error variance component, by contrast, decays to zero as T gets large. The formula we derive introduces a key parameter that we call the user-specific temporal correlation (UTC), which quantifies the relative sizes of the two variance components and can be estimated from historical experiments. Higher UTC indicates a slower decay in CI width over time. On the other hand, when the UTC is 0 -- as for experiments where users shuffle in and out of the experiment across days -- the CI width decays at the standard parametric 1/T rate. We also study how access to pre-period data for the users in the experiment affects the CI width decay. We show our formula closely explains CI widths on real A/B experiments at YouTube.
- Abstract（参考訳）: オンラインA/B実験を設計する際には,処理効果に対する信頼区間(CI)が適切な幅であることを保証するサンプルサイズと期間を選択することが重要である。
サンプルサイズとCI幅の関係はよく理解されているが,CI幅に対する実験期間の影響は明らかになっていない。
本稿では, 試料サイズ (N) と持続時間 (T) の両方の関数として, 比処理効果推定器に基づくCI幅の解析式を提供する。
この式は、2つの分散成分を持つ混合効果モデルから導かれる。
時間的分散と呼ばれる1つのコンポーネントは、同じユーザが異なる日に同じ実験アームに保持される実験のために、時間の経過とともに持続する。
一方、残りの誤差分散成分は、Tが大きくなるにつれてゼロに崩壊する。
提案法は,2成分の相対的サイズを定量化し,歴史的実験から推定できる,ユーザ固有時間相関(UTC)と呼ばれる重要なパラメータを導出する。
より高いUTCは時間の経過とともにCI幅が遅くなることを示している。
一方、UTCが0のとき(ユーザが数日にわたって実験の内外をシャッフルする実験の場合)、CIの幅は標準のパラメトリック1/Tレートで減衰する。
また,実験対象者の事前周期データへのアクセスがCI幅の減衰に与える影響についても検討した。
私たちはYouTubeで実際のA/B実験でCI幅を詳しく説明した。
関連論文リスト
- Variance reduction combining pre-experiment and in-experiment data [0.0]
オンライン制御実験(A/Bテスト)は、多くの企業にとって、データ駆動による意思決定に不可欠である。
CUPEDやCUPACのような既存の手法では、実験前のデータを使って分散を減らすが、その効果は実験前のデータと結果の相関に依存する。
実験前データと実験内データを組み合わせて, CUPED や CUPAC よりも高分散化を実現する手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T17:45:29Z) - Data-Driven Switchback Experiments: Theoretical Tradeoffs and Empirical Bayes Designs [1.9376226959814953]
本研究では, 1つの集合ユニット上で行ったスイッチバック実験の設計と解析について検討する。
推定誤差は, 搬送効果, 周期性, 連続的に相関した結果, 同時実験による影響の4因子に依存することを示す。
論文 参考訳（メタデータ） (2024-06-10T20:06:53Z) - Detecting Adversarial Data by Probing Multiple Perturbations Using
Expected Perturbation Score [62.54911162109439]
逆方向検出は、自然分布と逆方向分布の差に基づいて、与えられたサンプルが逆方向であるかどうかを判定することを目的としている。
本研究では,様々な摂動後の標本の予測スコアであるEPS(pre expected perturbation score)を提案する。
EPSに基づく最大平均誤差(MMD)を,試験試料と自然試料との差を測定する指標として開発する。
論文 参考訳（メタデータ） (2023-05-25T13:14:58Z) - Fair Effect Attribution in Parallel Online Experiments [57.13281584606437]
A/Bテストは、オンラインサービスで導入された変更の影響を確実に特定する目的で役立ちます。
オンラインプラットフォームでは,ユーザトラフィックをランダムに分割して多数の同時実験を行うのが一般的である。
異なるグループ間の完全なランダム化にもかかわらず、同時実験は互いに相互作用し、平均的な集団の結果に負の影響をもたらす。
論文 参考訳（メタデータ） (2022-10-15T17:15:51Z) - Full time-dependent counting statistics of highly entangled biphoton
states [0.0]
本稿では,効率的な計算可能な計算式の観点から,時間依存のカウント統計量を提供する手法を提案する。
一般空間モードは自由空間とファイバー伝搬を記述するために考慮される。
このアプローチは任意の光学部品と外部の影響のモジュラーアレイに容易に適用できる。
論文 参考訳（メタデータ） (2022-09-08T12:45:18Z) - H\"older Bounds for Sensitivity Analysis in Causal Reasoning [66.00472443147781]
導出バイアス |E[Y|T=t]-E[Y|do(T=t)]| 上の接点の集合は、未測定の接点の度合いに基づいて導出する。
これらの境界は、U が T から独立であるとき、あるいは U が T から独立であるとき、あるいは U が T から独立であるとき、厳密である。
論文 参考訳（メタデータ） (2021-07-09T20:26:36Z) - Bayesian Kernelised Test of (In)dependence with Mixed-type Variables [1.2691047660244332]
AIの基本課題は、混合型変数(テキスト、画像、音声)間の(独立性)を評価することである。
Dirichletプロセスモデルを用いた(in)依存性のベイジアンカーネル化相関テストを提案する。
このアプローチの特性と、高速な計算のためのアルゴリズムを示します。
論文 参考訳（メタデータ） (2021-05-09T19:21:43Z) - Multi-Source Causal Inference Using Control Variates [81.57072928775509]
本稿では,複数のデータソースから因果効果を推定するアルゴリズムを提案する。
理論的には、これはATE推定値の分散を減少させる。
このフレームワークを結果選択バイアスの下で観測データからの推論に適用する。
論文 参考訳（メタデータ） (2021-03-30T21:20:51Z) - Critical Parameters for Scalable Distributed Learning with Large Batches
and Asynchronous Updates [67.19481956584465]
飽和を伴う分散トレーニング(SGD)の効率は、バッチサイズと、実装における停滞に決定的に依存することが実験的に観察されている。
結果がタイトであることを示し、数値実験で重要な結果を示しています。
論文 参考訳（メタデータ） (2021-03-03T12:08:23Z) - Correct block-design experiments mitigate temporal correlation bias in
EEG classification [68.85562949901077]
[1]の主主張は極めて過大評価されており、他の分析は間違った方法論的選択によって深刻な欠陥を負っていることを示す。
脳波の時間相関が2つの実験環境で同じモデルをテストすることによって分類精度に及ぼす影響について検討した。
論文 参考訳（メタデータ） (2020-11-25T22:25:21Z) - A Case-Study on the Impact of Dynamic Time Warping in Time Series
Regression [2.639737913330821]
本研究では,1波長のみを考慮した場合,動的時間ワープ(DTW)が回帰作業の精度向上に有効であることを示す。
k-Nearest Neighbourと組み合わせると、DTWは、時系列のレベルでサンプル間の類似点と相違点を明らかにすることができるという利点が追加される。
しかし、この問題では、このデータは波長の広い範囲で利用できると考えている。
論文 参考訳（メタデータ） (2020-10-11T15:21:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。