論文の概要: Effect Size Estimation for Duration Recommendation in Online Experiments: Leveraging Hierarchical Models and Objective Utility Approaches

• arxiv url: http://arxiv.org/abs/2312.12871v2
• Date: Wed, 17 Apr 2024 23:56:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 20:39:38.127796
• Title: Effect Size Estimation for Duration Recommendation in Online Experiments: Leveraging Hierarchical Models and Objective Utility Approaches
• Title（参考訳）: オンライン実験における時間的推奨に対する効果サイズ推定:階層モデルの導入と客観的実用性アプローチ
• Authors: Yu Liu, Runzhe Wan, James McQueen, Doug Hains, Jinxiang Gu, Rui Song,
• Abstract要約: 仮定効果サイズ(AES)の選択は、実験の期間を決定的に決定し、その結果、その精度と効率が決定される。 伝統的に、実験者はドメイン知識に基づいてAESを決定するが、この方法は多数の実験を管理するオンライン実験サービスにとって実用的ではない。 オンライン実験サービスにおけるデータ駆動型AES選択のための2つのソリューションを提案する。
• 参考スコア（独自算出の注目度）: 13.504353263032359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The selection of the assumed effect size (AES) critically determines the duration of an experiment, and hence its accuracy and efficiency. Traditionally, experimenters determine AES based on domain knowledge. However, this method becomes impractical for online experimentation services managing numerous experiments, and a more automated approach is hence of great demand. We initiate the study of data-driven AES selection in for online experimentation services by introducing two solutions. The first employs a three-layer Gaussian Mixture Model considering the heteroskedasticity across experiments, and it seeks to estimate the true expected effect size among positive experiments. The second method, grounded in utility theory, aims to determine the optimal effect size by striking a balance between the experiment's cost and the precision of decision-making. Through comparisons with baseline methods using both simulated and real data, we showcase the superior performance of the proposed approaches.
• Abstract（参考訳）: 仮定効果サイズ(AES)の選択は、実験の期間を決定的に決定し、その結果、その精度と効率が決定される。 伝統的に、実験者はドメイン知識に基づいてAESを決定する。 しかし,本手法は,多数の実験を管理するオンライン実験サービスにとって実用的ではなく,より自動化されたアプローチが求められている。 2つのソリューションを導入することで、オンライン実験サービスにおけるデータ駆動型AES選択の研究を開始する。 1つは実験間のヘテロスケダスティック性を考慮した3層ガウス混合モデルを用いており、正の実験で期待される真の効果サイズを推定しようとしている。 実用性理論に基づく第2の手法は,実験コストと意思決定精度のバランスをとることにより,最適効果の大きさを決定することを目的としている。 シミュレーションデータと実データの両方を用いたベースライン手法との比較により,提案手法の優れた性能を示す。

関連論文リスト

• Optimal Adaptive Experimental Design for Estimating Treatment Effect [14.088972921434761]
  本稿では,治療効果を推定する際の最適精度を決定するための基本的な問題に対処する。 二重ロバストな手法の概念を逐次実験設計に取り入れることで、最適推定問題をオンラインバンディット学習問題としてモデル化する。 本稿では,バンディットアルゴリズム設計と適応統計的推定の両方のツールとアイデアを用いて,一般的な低スイッチング適応実験フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-07T23:22:51Z)
• Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties [49.351577714596544]
  本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。 優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
  論文  参考訳（メタデータ） (2024-02-27T09:23:13Z)
• Adaptive Instrument Design for Indirect Experiments [48.815194906471405]
  RCTとは異なり、間接的な実験は条件付き機器変数を利用して治療効果を推定する。 本稿では,データ収集ポリシーを適応的に設計することで,間接実験におけるサンプル効率の向上に向けた最初のステップについて述べる。 我々の主な貢献は、影響関数を利用して最適なデータ収集ポリシーを探索する実用的な計算手順である。
  論文  参考訳（メタデータ） (2023-12-05T02:38:04Z)
• A Double Machine Learning Approach to Combining Experimental and Observational Data [59.29868677652324]
  実験と観測を組み合わせた二重機械学習手法を提案する。 我々の枠組みは、より軽度の仮定の下で、外部の妥当性と無知の違反を検査する。
  論文  参考訳（メタデータ） (2023-07-04T02:53:11Z)
• Task-specific experimental design for treatment effect estimation [59.879567967089145]
  因果推論の標準は大規模ランダム化試験(RCT)である。 近年の研究では、RCTのよりサンプル効率の良い代替案が提案されているが、これらは因果効果を求める下流の応用には適用できない。 実験的な設計のためのタスク固有のアプローチを開発し、特定の下流アプリケーションにカスタマイズされたサンプリング戦略を導出する。
  論文  参考訳（メタデータ） (2023-06-08T18:10:37Z)
• Online simulator-based experimental design for cognitive model selection [74.76661199843284]
  本稿では,抽出可能な確率を伴わない計算モデルを選択する実験設計手法BOSMOSを提案する。 シミュレーション実験では,提案手法により,既存のLFI手法に比べて最大2桁の精度でモデルを選択することができることを示した。
  論文  参考訳（メタデータ） (2023-03-03T21:41:01Z)
• Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
  予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。 実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-07T02:12:34Z)
• Sequential Bayesian experimental designs via reinforcement learning [0.0]
  我々は,BEDを逐次的に構築するために,強化学習による逐次実験設計を提案する。 提案手法は,新たな実世界指向実験環境を提案することで,期待される情報獲得を最大化することを目的としている。 提案手法は,EIGやサンプリング効率などの指標において,既存の手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2022-02-14T04:29:04Z)
• Demarcating Endogenous and Exogenous Opinion Dynamics: An Experimental Design Approach [27.975266406080152]
  本稿では,実験的な設計手法に基づく教師なし分類手法のスイートを設計する。 平均推定誤差の異なる測度を最小化するイベントのサブセットを選択することを目的としている。 我々の実験は、不衛生事象や衛生事象に対する予測性能の検証から、様々な大きさの最適なサブセットを選択する効果の検証まで多岐にわたる。
  論文  参考訳（メタデータ） (2021-02-11T11:38:15Z)
• Efficient Adaptive Experimental Design for Average Treatment Effect Estimation [18.027128141189355]
  本研究では, 依存サンプルから構築した推定器を用いた効率的な実験法を提案する。 提案手法を正当化するために,有限および無限サンプル解析を行う。
  論文  参考訳（メタデータ） (2020-02-13T02:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。