論文の概要: Automating Pipelines of A/B Tests with Population Split Using
Self-Adaptation and Machine Learning
- arxiv url: http://arxiv.org/abs/2306.01407v2
- Date: Mon, 14 Aug 2023 06:51:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 04:44:40.539306
- Title: Automating Pipelines of A/B Tests with Population Split Using
Self-Adaptation and Machine Learning
- Title（参考訳）: 自己適応と機械学習を用いた人口分割によるA/Bテストパイプラインの自動化
- Authors: Federico Quin, Danny Weyns
- Abstract要約: A/Bテストは、新しい機能の導入や既存のソフトウェアの変更を通じてイノベーションを促進するために、業界でよく使われるアプローチである。
伝統的に、A/Bテストは順次実施され、各実験は対応するアプリケーションの全人口を対象としている。
これらの問題に対処するために,A/Bテストのパイプライン実行を自動化するAutoPABSという,新たな自己適応型アプローチを導入する。
- 参考スコア（独自算出の注目度）: 10.635137352476246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A/B testing is a common approach used in industry to facilitate innovation
through the introduction of new features or the modification of existing
software. Traditionally, A/B tests are conducted sequentially, with each
experiment targeting the entire population of the corresponding application.
This approach can be time-consuming and costly, particularly when the
experiments are not relevant to the entire population. To tackle these
problems, we introduce a new self-adaptive approach called AutoPABS, short for
Automated Pipelines of A/B tests using Self-adaptation, that (1) automates the
execution of pipelines of A/B tests, and (2) supports a split of the population
in the pipeline to divide the population into multiple A/B tests according to
user-based criteria, leveraging machine learning. We started the evaluation
with a small survey to probe the appraisal of the notation and infrastructure
of AutoPABS. Then we performed a series of tests to measure the gains obtained
by applying a population split in an automated A/B testing pipeline, using an
extension of the SEAByTE artifact. The survey results show that the
participants express the usefulness of automating A/B testing pipelines and
population split. The tests show that automatically executing pipelines of A/B
tests with a population split accelerates the identification of statistically
significant results of the parallel executed experiments of A/B tests compared
to a traditional approach that performs the experiments sequentially.
- Abstract（参考訳）: A/Bテストは、新しい機能の導入や既存のソフトウェアの変更を通じてイノベーションを促進するために、業界でよく使われるアプローチである。
伝統的に、A/Bテストは順次実施され、各実験は対応するアプリケーションの全人口を対象としている。
このアプローチは、特に実験が人口全体に関連していない場合、時間と費用がかかる可能性がある。
そこで,本研究では,自己適応を用いたa/bテストの自動化パイプラインに不足するautopabsと呼ばれる新しい自己適応アプローチを導入し,(1)a/bテストのパイプライン実行を自動化し,(2)人口を複数のa/bテストに分割するためのパイプライン内の人口の分割をサポートし,機械学習を活用する。
我々は,AutoPABSの表記とインフラの評価を調査するため,小規模な調査から評価を開始した。
次に、SEAByTEアーティファクトの拡張を用いて、自動A/Bテストパイプラインに集団分割を適用して得られる利得を測定するための一連のテストを行った。
その結果,A/Bテストパイプラインの自動化と人口分割の有用性が示唆された。
実験の結果,A/Bテストのパイプラインを集団分割で自動的に実行することにより,A/Bテストの並列実行実験の統計的に有意な結果の同定が促進されることがわかった。
関連論文リスト
- Automatic benchmarking of large multimodal models via iterative experiment programming [71.78089106671581]
本稿では,LMMの自動ベンチマークのための最初のフレームワークであるAPExを紹介する。
自然言語で表現された研究の質問に対して、APExは大きな言語モデル(LLM)と事前定義されたツールのライブラリを活用して、手元にあるモデルの一連の実験を生成する。
調査の現在の状況に基づいて、APExはどの実験を行うか、結果が結論を引き出すのに十分かどうかを選択する。
論文 参考訳（メタデータ） (2024-06-18T06:43:46Z) - Deep anytime-valid hypothesis testing [29.273915933729057]
非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。
テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。
合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
論文 参考訳（メタデータ） (2023-10-30T09:46:19Z) - A/B Testing: A Systematic Literature Review [10.222047656342493]
古典的なA/Bテストは、支配的なタイプのテストである。
テスト結果の圧倒的な利用は、機能選択、機能のロールアウト、継続的な機能開発である。
オープンな問題の主な報告は、提案されたアプローチの強化とそのユーザビリティである。
論文 参考訳（メタデータ） (2023-08-09T12:55:51Z) - Validation of massively-parallel adaptive testing using dynamic control
matching [0.0]
現代のビジネスはしばしば同時に多数のA/B/nテストを実行し、多くのコンテンツバリエーションを同じメッセージにパッケージ化する。
本稿では, 連続試験適応条件下での各種試験の因果効果を解消する手法を提案する。
論文 参考訳（メタデータ） (2023-05-02T11:28:12Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-03-27T16:32:21Z) - Robust Test-Time Adaptation in Dynamic Scenarios [9.475271284789969]
テスト時適応(TTA)は、未ラベルのテストデータストリームのみを用いて、事前訓練されたモデルを分散をテストすることを目的としている。
PTTAの複雑なデータストリームに対してロバストテスト時間適応法(RoTTA)を精査する。
私たちのメソッドは実装が簡単で、迅速なデプロイメントに適しています。
論文 参考訳（メタデータ） (2023-03-24T10:19:14Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳（メタデータ） (2022-08-10T03:05:46Z) - AutoML Two-Sample Test [13.468660785510945]
我々は、目撃者の関数の平均的な相違をテスト統計として捉えた単純なテストを使用し、二乗損失を最小限にすれば、最適なテスト能力を持つ目撃者につながることを証明します。
我々はPythonパッケージAutotstでAutoMLの2サンプルテストの実装を提供する。
論文 参考訳（メタデータ） (2022-06-17T15:41:07Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-05-18T05:43:06Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - Noisy Adaptive Group Testing using Bayesian Sequential Experimental
Design [63.48989885374238]
病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。
本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
論文 参考訳（メタデータ） (2020-04-26T23:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。