論文の概要: Ranking by Lifts: A Cost-Benefit Approach to Large-Scale A/B Tests

• arxiv url: http://arxiv.org/abs/2407.01036v1
• Date: Mon, 1 Jul 2024 07:40:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 22:29:17.307856
• Title: Ranking by Lifts: A Cost-Benefit Approach to Large-Scale A/B Tests
• Title（参考訳）: Liftsによるランク付け: 大規模A/Bテストに対するコストベネフィットアプローチ
• Authors: Pallavi Basu, Ron Berman,
• Abstract要約: 大規模なテストを行うA/Bテスタは、nullの偽の拒絶をコントロールできることを望んでいる。 本研究は、偽発見率(FDR)制御を受ける利益を最大化する決定論的枠組みを開発する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A/B testers conducting large-scale tests prioritize lifts and want to be able to control false rejections of the null. This work develops a decision-theoretic framework for maximizing profits subject to false discovery rate (FDR) control. We build an empirical Bayes solution for the problem via the greedy knapsack approach. We derive an oracle rule based on ranking the ratio of expected lifts and the cost of wrong rejections using the local false discovery rate (lfdr) statistic. Our oracle decision rule is valid and optimal for large-scale tests. Further, we establish asymptotic validity for the data-driven procedure and demonstrate finite-sample validity in experimental studies. We also demonstrate the merit of the proposed method over other FDR control methods. Finally, we discuss an application to actual Optimizely experiments.
• Abstract（参考訳）: 大規模なテストを実施するA/Bテスタは、リフトを優先順位付けし、nullの誤った拒絶を制御できるようにしたいと考えています。 本研究は、偽発見率(FDR)制御を受ける利益を最大化する決定論的枠組みを開発する。 我々はこの問題に対する経験的ベイズ解をgreedy knapsackアプローチによって構築する。 提案手法は, 予測昇降率のランク付けと, 誤検出率(lfdr)統計を用いた誤った拒絶のコストに基づいて, オラクルルールを導出する。 我々のオラクル決定ルールは大規模テストに有効で最適です。 さらに,データ駆動方式の漸近的妥当性を確立し,実験において有限サンプルの有効性を示す。 また,提案手法が他のFDR制御法よりも優れていることを示す。 最後に、実際のOptimizely実験への適用について論じる。

関連論文リスト

• An Upper Confidence Bound Approach to Estimating the Maximum Mean [0.0]
  本研究では, 上限値の最大値の推定について, 上限値 (UCB) を用いて検討した。 両推定器の強い一貫性、平均二乗誤差、中央極限定理(CLT)を含む統計的保証を確立する。
  論文  参考訳（メタデータ） (2024-08-08T02:53:09Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Efficient Weighting Schemes for Auditing Instant-Runoff Voting Elections [57.67176250198289]
  AWAIREは、適応的に重み付けされたテスト統計量であり、本質的には、テストに有効な仮説のセットを「学習」する。 我々は、より広範囲にスキームと設定を検討し、実践のための効率的な選択を特定し、推奨する。 現在のAWAIRE実装の制限は、少数の候補者に限られている。
  論文  参考訳（メタデータ） (2024-02-18T10:13:01Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• A Semi-Bayesian Nonparametric Estimator of the Maximum Mean Discrepancy Measure: Applications in Goodness-of-Fit Testing and Generative Adversarial Networks [3.623570119514559]
  そこで我々は,GoF(Goness-of-fit)テストのための半ベイズ非パラメトリック(セミBNP)手順を提案する。 提案手法は,最大平均誤差(MMD)測定のための新しいベイズ推定器を提案する。 提案手法は, 誤り仮説の誤認率と受理率を低くすることで, 頻繁なMDD法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-05T10:36:21Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)
• Optimal Treatment Regimes for Proximal Causal Learning [7.672587258250301]
  そこで本研究では,橋梁における結果と治療の相違に基づく最適な個別化治療体制を提案する。 この新たな最適治療体制の価値関数は,文献上に存在するものよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-19T14:29:25Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)
• Understanding and Mitigating the Limitations of Prioritized Experience Replay [46.663239542920984]
  優先順位付け再生体験(ER)は、多くのドメインでサンプル効率を改善するために実証的に示されている。 平均二乗誤差に対する誤差に基づく優先サンプリング法と立方体電力損失に対する一様サンプリング法との等価性を示す。 次に,早期学習における一様サンプリングによる収束率の向上について理論的考察を行った。
  論文  参考訳（メタデータ） (2020-07-19T03:10:02Z)
• Noisy Adaptive Group Testing using Bayesian Sequential Experimental Design [63.48989885374238]
  病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。 本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
  論文  参考訳（メタデータ） (2020-04-26T23:41:33Z)
• PAPRIKA: Private Online False Discovery Rate Control [27.698099204682105]
  サンプルの差分プライバシーの制約の下で, 仮説テストにおけるFalse Discovery Rate (FDR) の制御について検討した。 我々は、非プライベートなオンラインFDR制御における最先端の結果に基づく新しいプライベートアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2020-02-27T18:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。