論文の概要: Post Launch Evaluation of Policies in a High-Dimensional Setting

• arxiv url: http://arxiv.org/abs/2501.00119v1
• Date: Mon, 30 Dec 2024 19:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:15:37.791394
• Title: Post Launch Evaluation of Policies in a High-Dimensional Setting
• Title（参考訳）: 高次元設定における政策の打上げ後評価
• Authors: Shima Nassiri, Mohsen Bayati, Joe Cooprider,
• Abstract要約: A/Bテスト(A/B test)またはランダム化制御実験(RCTs)は、新しいポリシー、製品、決定の影響を評価するための金の標準である。 本稿では「合成制御」にインスパイアされた方法論の適用に関する実践的考察を考察する。 合成制御法は、影響を受けていない単位からのデータを利用して、処理された単位に対する対実的な結果を推定する。
• 参考スコア（独自算出の注目度）: 4.710921988115686
• License:
• Abstract: A/B tests, also known as randomized controlled experiments (RCTs), are the gold standard for evaluating the impact of new policies, products, or decisions. However, these tests can be costly in terms of time and resources, potentially exposing users, customers, or other test subjects (units) to inferior options. This paper explores practical considerations in applying methodologies inspired by "synthetic control" as an alternative to traditional A/B testing in settings with very large numbers of units, involving up to hundreds of millions of units, which is common in modern applications such as e-commerce and ride-sharing platforms. This method is particularly valuable in settings where the treatment affects only a subset of units, leaving many units unaffected. In these scenarios, synthetic control methods leverage data from unaffected units to estimate counterfactual outcomes for treated units. After the treatment is implemented, these estimates can be compared to actual outcomes to measure the treatment effect. A key challenge in creating accurate counterfactual outcomes is interpolation bias, a well-documented phenomenon that occurs when control units differ significantly from treated units. To address this, we propose a two-phase approach: first using nearest neighbor matching based on unit covariates to select similar control units, then applying supervised learning methods suitable for high-dimensional data to estimate counterfactual outcomes. Testing using six large-scale experiments demonstrates that this approach successfully improves estimate accuracy. However, our analysis reveals that machine learning bias -- which arises from methods that trade off bias for variance reduction -- can impact results and affect conclusions about treatment effects. We document this bias in large-scale experimental settings and propose effective de-biasing techniques to address this challenge.
• Abstract（参考訳）: A/Bテスト(A/B test)またはランダム化制御実験(RCTs)は、新しいポリシー、製品、決定の影響を評価するための金の標準である。 しかし、これらのテストは時間とリソースの面でコストがかかり、ユーザや顧客、あるいは他のテスト対象(ユニット)を劣る選択肢に晒す可能性がある。 本稿では,電子商取引やライドシェアリングプラットフォームなどの近代的応用において一般的である,数億単位のユニットを含む,非常に多数の設定において,従来のA/Bテストに代わる「合成制御」に着想を得た方法論の適用に関する実践的考察を考察する。 この方法は、治療がユニットのサブセットにのみ影響を与え、多くのユニットに影響を与えないような環境では特に有用である。 これらのシナリオにおいて、合成制御法は、影響のない単位からのデータを活用して、処理された単位に対する対実的な結果を推定する。 治療が実施されれば、これらの推定結果を実際の結果と比較して治療効果を測定することができる。 正確な反事実的結果を生み出す上で重要な課題は補間バイアス(Interpolation bias)である。 そこで本研究では,まず,単位共変量に基づく近接マッチングを用いて類似の制御単位を選択し,次に,高次元データに適した教師付き学習手法を適用し,結果の正当性を推定する。 6つの大規模な実験を用いてテストすると、このアプローチが推定精度を向上できることが示される。 しかし、我々の分析は、分散還元のためにバイアスをトレードオフする手法から生じる機械学習バイアスが、結果に影響を与え、治療効果に関する結論に影響を与えることを明らかにしている。 我々は,このバイアスを大規模な実験環境に記録し,この課題に対処するための効果的な脱バイアス手法を提案する。

関連論文リスト

• A Simple Model to Estimate Sharing Effects in Social Networks [3.988614978933934]
  ソーシャルネットワークにおけるユーザ共有行動を記述するシンプルなマルコフ決定プロセス(MDP)モデルを提案する。 本モデルでは, 治療効果の偏りのない推定器を導出し, 再現性のある合成実験により, 既存の方法よりも有意差で優れることを示した。
  論文  参考訳（メタデータ） (2024-09-16T13:32:36Z)
• Adaptive Experimentation When You Can't Experiment [55.86593195947978]
  本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。 オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
  論文  参考訳（メタデータ） (2024-06-15T20:54:48Z)
• Variance Reduction in Ratio Metrics for Efficient Online Experiments [12.036747050794135]
  大規模なショートビデオプラットフォーム上での比率測定に分散低減手法を適用した: ShareChat。 その結果,77%の症例でA/Bテストの信頼性を向上できるか,データポイントを30%減らして同一の信頼性を維持することができることがわかった。
  論文  参考訳（メタデータ） (2024-01-08T18:01:09Z)
• Causal Message Passing for Experiments with Unknown and General Network Interference [5.294604210205507]
  複雑で未知のネットワーク干渉に対応する新しいフレームワークを提案する。 我々のフレームワークは因果的メッセージパッシングと呼ばれ、高次元近似的メッセージパッシング手法に基づいている。 本手法の有効性を5つの数値シナリオで示す。
  論文  参考訳（メタデータ） (2023-11-14T17:31:50Z)
• Individualized Policy Evaluation and Learning under Clustered Network Interference [4.560284382063488]
  クラスタ化されたネットワーク干渉下での最適個別化処理ルールの評価と学習の問題点を考察する。 ITRの実証性能を評価するための推定器を提案する。 学習ITRに対する有限サンプル残差を導出し、効率的な評価推定器の使用により学習ポリシーの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-11-04T17:58:24Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Assessment of Treatment Effect Estimators for Heavy-Tailed Data [70.72363097550483]
  ランダム化制御試験(RCT)における治療効果の客観的評価における中心的な障害は、その性能をテストするための基礎的真理(または検証セット)の欠如である。 この課題に対処するための新しいクロスバリデーションのような方法論を提供する。 本手法は,Amazonサプライチェーンに実装された709RCTに対して評価を行った。
  論文  参考訳（メタデータ） (2021-12-14T17:53:01Z)
• Almost-Matching-Exactly for Treatment Effect Estimation under Network Interference [73.23326654892963]
  本研究では,観測ネットワーク上でユニットが接続されたランダム化実験から直接処理効果を回復するマッチング手法を提案する。 本手法は, 近傍グラフ内の一意部分グラフの個数にほぼ一致する。
  論文  参考訳（メタデータ） (2020-03-02T15:21:20Z)
• Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework [68.96770035057716]
  A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。 本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-05T10:25:02Z)
• Generalization Bounds and Representation Learning for Estimation of Potential Outcomes and Causal Effects [61.03579766573421]
  代替薬に対する患者一人の反応など,個人レベルの因果効果の推定について検討した。 我々は,表現の誘導的処理群距離を正規化することにより,境界を最小化する表現学習アルゴリズムを考案した。 これらのアルゴリズムを拡張して、重み付き表現を同時に学習し、治療群距離をさらに削減する。
  論文  参考訳（メタデータ） (2020-01-21T10:16:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。