論文の概要: Assign Experiment Variants at Scale in Online Controlled Experiments

• arxiv url: http://arxiv.org/abs/2212.08771v1
• Date: Sat, 17 Dec 2022 00:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 18:43:05.752739
• Title: Assign Experiment Variants at Scale in Online Controlled Experiments
• Title（参考訳）: オンライン制御実験における大規模アサイン実験
• Authors: Qike Li, Samir Jamkhande, Pavel Kochetkov, Pai Liu
• Abstract要約: オンライン制御実験(A/Bテスト)は、テクノロジー企業における新製品機能の影響を学ぶための金の標準となっている。 テクノロジー企業は大規模にA/Bテストを実行します -- 数千、あるいは数千のA/Bテストを同時に実行します。 ランダムな代入を検証するための新しい代入アルゴリズムと統計的試験を提案する。
• 参考スコア（独自算出の注目度）: 1.9205538784019935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online controlled experiments (A/B tests) have become the gold standard for learning the impact of new product features in technology companies. Randomization enables the inference of causality from an A/B test. The randomized assignment maps end users to experiment buckets and balances user characteristics between the groups. Therefore, experiments can attribute any outcome differences between the experiment groups to the product feature under experiment. Technology companies run A/B tests at scale -- hundreds if not thousands of A/B tests concurrently, each with millions of users. The large scale poses unique challenges to randomization. First, the randomized assignment must be fast since the experiment service receives hundreds of thousands of queries per second. Second, the variant assignments must be independent between experiments. Third, the assignment must be consistent when users revisit or an experiment enrolls more users. We present a novel assignment algorithm and statistical tests to validate the randomized assignments. Our results demonstrate that not only is this algorithm computationally fast but also satisfies the statistical requirements -- unbiased and independent.
• Abstract（参考訳）: オンライン制御実験(A/Bテスト)は、テクノロジー企業における新製品機能の影響を学ぶための金の標準となっている。 ランダム化はA/Bテストから因果関係の推論を可能にする。 ランダム化された割り当ては、エンドユーザを実験バケットにマップし、グループ間のユーザ特性のバランスをとる。 したがって、実験は実験グループ間の結果の相違を製品の特徴とみなすことができる。 テクノロジー企業は大規模にA/Bテストを実行します -- 数千、あるいは数千のA/Bテストを同時に実行します。 大規模化はランダム化にユニークな課題をもたらす。 第一に、実験サービスが毎秒数十万のクエリを受け取るため、ランダム化された割り当ては高速でなければならない。 第二に、変種割り当ては実験ごとに独立でなければならない。 第三に、ユーザーが再訪したり実験を行ったりする際には、割り当ては一貫していなければならない。 本稿では,ランダム割当を検証するための新しい割当アルゴリズムと統計テストを提案する。 その結果, このアルゴリズムは計算速度が速いだけでなく, 偏りのない, 独立な統計条件を満たすことがわかった。

関連論文リスト

• Towards Explainable Test Case Prioritisation with Learning-to-Rank Models [6.289767078502329]
  テストケース優先順位付け(TCP)は、ソフトウェアが進化するにつれて品質を確保するために回帰テストにおいて重要なタスクである。 我々は、異なる説明を必要とするシナリオと、TCPの特異性がそれらにどのように影響するかを提示し、議論する。
  論文  参考訳（メタデータ） (2024-05-22T16:11:45Z)
• Sequential Kernelized Independence Testing [101.22966794822084]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Fair Effect Attribution in Parallel Online Experiments [57.13281584606437]
  A/Bテストは、オンラインサービスで導入された変更の影響を確実に特定する目的で役立ちます。 オンラインプラットフォームでは,ユーザトラフィックをランダムに分割して多数の同時実験を行うのが一般的である。 異なるグループ間の完全なランダム化にもかかわらず、同時実験は互いに相互作用し、平均的な集団の結果に負の影響をもたらす。
  論文  参考訳（メタデータ） (2022-10-15T17:15:51Z)
• Model-Free Sequential Testing for Conditional Independence via Testing by Betting [8.293345261434943]
  提案されたテストでは、任意の依存関係構造を持つ入ってくるi.d.データストリームを分析できる。 重要な結果が検出されれば,オンライン上でのデータポイントの処理を可能とし,データ取得を停止する。
  論文  参考訳（メタデータ） (2022-10-01T20:05:33Z)
• Using Adaptive Experiments to Rapidly Help Students [5.446351709118483]
  我々は、トンプソンサンプリングアルゴリズムを用いて適応実験を行うことで、学生の宿題メールリマインダーの効果を評価する。 適応的ランダム化実験が多かれ少なかれ有用であるような条件について、様々なオープンな疑問を提起する。
  論文  参考訳（メタデータ） (2022-08-10T00:43:05Z)
• Increasing Students' Engagement to Reminder Emails Through Multi-Armed Bandits [60.4933541247257]
  本稿では,学生が週毎のメールリマインダーとどのように関わり,時間管理の習慣を構築するかについて,実世界の適応実験を行った。 適応実験にマルチアーマド・バンド(MAB)アルゴリズムを用いると、より良い結果が得られる可能性が高まる。 我々は、これらの適応アルゴリズムの問題点を強調します。例えば、大きな違いがない場合の腕の活用などです。
  論文  参考訳（メタデータ） (2022-08-10T00:30:52Z)
• Towards Continuous Compounding Effects and Agile Practices in Educational Experimentation [2.7094829962573304]
  本稿では,異なる実験過程を分類する枠組みを定義する。 次世代の教育技術の成功は、プロセスの完全な集合を取り入れることによって後押しされる。
  論文  参考訳（メタデータ） (2021-11-17T13:10:51Z)
• Challenges in Statistical Analysis of Data Collected by a Bandit Algorithm: An Empirical Exploration in Applications to Adaptively Randomized Experiments [11.464963616709671]
  多腕バンディットアルゴリズムは、適応的ランダム化実験に有用であると何十年も議論されてきた。 バンディットアルゴリズムThompson Sampling (TS) を用いて, 3つの大学で適応実験を行った。 TSを用いたデータ収集はFalse Positive Rate(FPR)とFalse Negative Rate(FNR)を2倍にすることができることを示す。
  論文  参考訳（メタデータ） (2021-03-22T22:05:18Z)
• Noisy Adaptive Group Testing using Bayesian Sequential Experimental Design [63.48989885374238]
  病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。 本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
  論文  参考訳（メタデータ） (2020-04-26T23:41:33Z)
• Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping [62.78338049381917]
  教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。 GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。 これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
  論文  参考訳（メタデータ） (2020-02-15T02:40:10Z)
• Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework [68.96770035057716]
  A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。 本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-05T10:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。