論文の概要: Data-Driven Switchback Experiments: Theoretical Tradeoffs and Empirical Bayes Designs
- arxiv url: http://arxiv.org/abs/2406.06768v1
- Date: Mon, 10 Jun 2024 20:06:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 20:15:44.145458
- Title: Data-Driven Switchback Experiments: Theoretical Tradeoffs and Empirical Bayes Designs
- Title（参考訳）: データ駆動のスイッチバック実験:理論的トレードオフと経験的ベイズ設計
- Authors: Ruoxuan Xiong, Alex Chin, Sean J. Taylor,
- Abstract要約: 本研究では, 1つの集合ユニット上で行ったスイッチバック実験の設計と解析について検討する。
推定誤差は, 搬送効果, 周期性, 連続的に相関した結果, 同時実験による影響の4因子に依存することを示す。
- 参考スコア（独自算出の注目度）: 1.9376226959814953
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the design and analysis of switchback experiments conducted on a single aggregate unit. The design problem is to partition the continuous time space into intervals and switch treatments between intervals, in order to minimize the estimation error of the treatment effect. We show that the estimation error depends on four factors: carryover effects, periodicity, serially correlated outcomes, and impacts from simultaneous experiments. We derive a rigorous bias-variance decomposition and show the tradeoffs of the estimation error from these factors. The decomposition provides three new insights in choosing a design: First, balancing the periodicity between treated and control intervals reduces the variance; second, switching less frequently reduces the bias from carryover effects while increasing the variance from correlated outcomes, and vice versa; third, randomizing interval start and end points reduces both bias and variance from simultaneous experiments. Combining these insights, we propose a new empirical Bayes design approach. This approach uses prior data and experiments for designing future experiments. We illustrate this approach using real data from a ride-sharing platform, yielding a design that reduces MSE by 33% compared to the status quo design used on the platform.
- Abstract（参考訳）: 本研究では, 1つの集合ユニット上で行ったスイッチバック実験の設計と解析について検討する。
設計上の問題は、処理効果の推定誤差を最小限に抑えるために、連続時間空間を間隔に分割し、処理を間隔に切り替えることである。
推定誤差は, 搬送効果, 周期性, 連続的に相関した結果, 同時実験の影響の4因子に依存することを示す。
厳密なバイアス分散分解を導出し、これらの要因から推定誤差のトレードオフを示す。
第一に、処理間隔と制御間隔の周期性のバランスは分散を減少させ、第二に、切り替えは、相関結果からのばらつきを増大させながら、輸送効果からのバイアスを減少させ、第二に、ランダム化間隔の開始点と終了点が同時実験からのバイアスと分散を減少させる。
これらの知見を組み合わせることで、新しい経験的ベイズ設計手法を提案する。
このアプローチは、将来の実験を設計するために、事前のデータと実験を使用する。
我々は、この手法を、ライドシェアリングプラットフォームからの実データを用いて説明し、MSEを33%削減する設計を、プラットフォームで使用されているステータスクオデザインと比較する。
関連論文リスト
- Variance reduction combining pre-experiment and in-experiment data [0.0]
オンライン制御実験(A/Bテスト)は、多くの企業にとって、データ駆動による意思決定に不可欠である。
CUPEDやCUPACのような既存の手法では、実験前のデータを使って分散を減らすが、その効果は実験前のデータと結果の相関に依存する。
実験前データと実験内データを組み合わせて, CUPED や CUPAC よりも高分散化を実現する手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T17:45:29Z) - Setting the duration of online A/B experiments [0.0]
本稿では, 比例処理効果推定器に基づくCI幅の解析式について述べる。
本稿では,YouTubeにおける実A/B実験のCI幅を詳細に解説する。
論文 参考訳（メタデータ） (2024-08-05T20:55:14Z) - STATE: A Robust ATE Estimator of Heavy-Tailed Metrics for Variance Reduction in Online Controlled Experiments [22.32661807469984]
我々は、学生のt分布と機械学習ツールを統合して、ヘビーテールのメトリクスに適合する新しいフレームワークを開発する。
ログ類似度関数を最適化するために変分EM法を採用することにより、アウトリアの負の影響を大幅に排除するロバストな解を推測できる。
Meituan実験プラットフォーム上での合成データと長期実験結果のシミュレーションにより,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-07-23T09:35:59Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - TCFimt: Temporal Counterfactual Forecasting from Individual Multiple
Treatment Perspective [50.675845725806724]
個別多面的治療の観点からの時間的対実予測の包括的枠組み(TCFimt)を提案する。
TCFimtは、選択と時間変化バイアスを軽減するためにSeq2seqフレームワークの逆タスクを構築し、比較学習ベースのブロックを設計し、混合処理効果を分離した主治療効果と因果相互作用に分解する。
提案手法は, 特定の治療法による今後の結果予測と, 最先端手法よりも最適な治療タイプとタイミングを選択する上で, 良好な性能を示す。
論文 参考訳（メタデータ） (2022-12-17T15:01:05Z) - Averaging Spatio-temporal Signals using Optimal Transport and Soft
Alignments [110.79706180350507]
Fr'teche は双対性を意味し, 時間的バレシェセンタを定義するために提案した損失が有効であることを示す。
手書き文字と脳画像データによる実験は、我々の理論的発見を裏付けるものである。
論文 参考訳（メタデータ） (2022-03-11T09:46:22Z) - Synthetically Controlled Bandits [2.8292841621378844]
本稿では, 干渉などの問題により, 実験ユニットが粗い環境において, 実験設計のための新しい動的アプローチを提案する。
SCTS(Synthetically Controlled Thompson Smpling)と呼ばれる新しいデザインは、実験に伴う後悔を最小限に抑える。
論文 参考訳（メタデータ） (2022-02-14T22:58:13Z) - What can the millions of random treatments in nonexperimental data
reveal about causes? [0.0]
この記事ではこのようなモデルとベイズ的アプローチを紹介し、非経験的データで典型的に使用可能な 1(n2)$ のペアワイズ観測を組み合わせる。
提案手法は, 一般のnswサンプル, 任意のサブポピュレーションおよび大容量スーパーサンプルにおいて, 因果効果を回復することを示す。
論文 参考訳（メタデータ） (2021-05-03T20:13:34Z) - Efficient Causal Inference from Combined Observational and
Interventional Data through Causal Reductions [68.6505592770171]
因果効果を推定する際の主な課題の1つである。
そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。
パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T14:29:07Z) - Critical Parameters for Scalable Distributed Learning with Large Batches
and Asynchronous Updates [67.19481956584465]
飽和を伴う分散トレーニング(SGD)の効率は、バッチサイズと、実装における停滞に決定的に依存することが実験的に観察されている。
結果がタイトであることを示し、数値実験で重要な結果を示しています。
論文 参考訳（メタデータ） (2021-03-03T12:08:23Z) - Almost-Matching-Exactly for Treatment Effect Estimation under Network
Interference [73.23326654892963]
本研究では,観測ネットワーク上でユニットが接続されたランダム化実験から直接処理効果を回復するマッチング手法を提案する。
本手法は, 近傍グラフ内の一意部分グラフの個数にほぼ一致する。
論文 参考訳（メタデータ） (2020-03-02T15:21:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。