論文の概要: Fair Effect Attribution in Parallel Online Experiments

• arxiv url: http://arxiv.org/abs/2210.08338v1
• Date: Sat, 15 Oct 2022 17:15:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 22:14:54.525574
• Title: Fair Effect Attribution in Parallel Online Experiments
• Title（参考訳）: 並列オンライン実験における公正効果の帰属
• Authors: Alexander Buchholz, Vito Bellini, Giuseppe Di Benedetto, Yannik Stein, Matteo Ruffini, Fabian Moerchen
• Abstract要約: A/Bテストは、オンラインサービスで導入された変更の影響を確実に特定する目的で役立ちます。 オンラインプラットフォームでは,ユーザトラフィックをランダムに分割して多数の同時実験を行うのが一般的である。 異なるグループ間の完全なランダム化にもかかわらず、同時実験は互いに相互作用し、平均的な集団の結果に負の影響をもたらす。
• 参考スコア（独自算出の注目度）: 57.13281584606437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A/B tests serve the purpose of reliably identifying the effect of changes introduced in online services. It is common for online platforms to run a large number of simultaneous experiments by splitting incoming user traffic randomly in treatment and control groups. Despite a perfect randomization between different groups, simultaneous experiments can interact with each other and create a negative impact on average population outcomes such as engagement metrics. These are measured globally and monitored to protect overall user experience. Therefore, it is crucial to measure these interaction effects and attribute their overall impact in a fair way to the respective experimenters. We suggest an approach to measure and disentangle the effect of simultaneous experiments by providing a cost sharing approach based on Shapley values. We also provide a counterfactual perspective, that predicts shared impact based on conditional average treatment effects making use of causal inference techniques. We illustrate our approach in real world and synthetic data experiments.
• Abstract（参考訳）: A/Bテストは、オンラインサービスで導入された変更の影響を確実に識別する目的である。 オンラインプラットフォームでは,受信したユーザトラフィックを処理群と制御群でランダムに分割して,多数の実験を同時に実施することが一般的である。 異なるグループ間の完全なランダム化にもかかわらず、同時実験は相互に相互作用し、エンゲージメントメトリクスのような平均的な集団の結果に悪影響を及ぼす。 これらはグローバルに測定され、ユーザエクスペリエンス全体を保護するために監視される。 したがって、これらの相互作用効果を測定し、その全体的な影響を各実験者に公平に評価することが重要である。 シャプリー値に基づくコスト共有アプローチを提供することで,同時実験の効果を計測し,分離する手法を提案する。 また,因果推論技術を用いた条件付き平均処理効果に基づいて,共用効果を予測する対物的視点も提供する。 私たちのアプローチを実世界と合成データ実験で説明します。

関連論文リスト

• A Simple Model to Estimate Sharing Effects in Social Networks [3.988614978933934]
  ソーシャルネットワークにおけるユーザ共有行動を記述するシンプルなマルコフ決定プロセス(MDP)モデルを提案する。 本モデルでは, 治療効果の偏りのない推定器を導出し, 再現性のある合成実験により, 既存の方法よりも有意差で優れることを示した。
  論文  参考訳（メタデータ） (2024-09-16T13:32:36Z)
• Causal Message Passing for Experiments with Unknown and General Network Interference [5.294604210205507]
  複雑で未知のネットワーク干渉に対応する新しいフレームワークを提案する。 我々のフレームワークは因果的メッセージパッシングと呼ばれ、高次元近似的メッセージパッシング手法に基づいている。 本手法の有効性を5つの数値シナリオで示す。
  論文  参考訳（メタデータ） (2023-11-14T17:31:50Z)
• Clustering-based Imputation for Dropout Buyers in Large-scale Online Experimentation [4.753069295451989]
  オンライン実験では、適切な指標(例えば購入)が仮説を支持し、意思決定プロセスを強化する強力な証拠を提供する。 本研究では,ドロップアウト購入者の概念を導入し,不完全なメトリック値を持つユーザを,訪問者とドロップアウト購入者という2つのグループに分類する。 不完全なメトリクスを分析するために、$k$-nearest 隣人を用いたクラスタリングベースの計算法を提案する。
  論文  参考訳（メタデータ） (2022-09-09T01:05:53Z)
• Cascaded Debiasing: Studying the Cumulative Effect of Multiple Fairness-Enhancing Interventions [48.98659895355356]
  本稿では機械学習(ML)パイプラインの異なる段階における多重公正強化介入の累積効果について検討する。 複数の介入を適用すると、集約に対する個々の介入よりも公平性と実用性が向上する。 マイナス面として、公平性向上の介入は異なる集団、特に特権集団に悪影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-02-08T09:20:58Z)
• Causal Inference Struggles with Agency on Online Platforms [32.81856583026165]
  ユーザの自己選択から導かれる観察研究の有効性を評価することを目的として,Twitter上で4つの大規模内部スタディ比較を行った。 この結果から,ユーザの自己選択から導かれる観察研究は,オンラインプラットフォーム上でのランダム化実験の代替手段として不十分であることが示唆された。
  論文  参考訳（メタデータ） (2021-07-19T16:14:00Z)
• On Inductive Biases for Heterogeneous Treatment Effect Estimation [91.3755431537592]
  我々は、異なる治療下で、個人の潜在的成果(PO)の構造的類似性を利用する方法について検討する。 この問題を克服するために、エンドツーエンドの学習戦略を3つ比較する。
  論文  参考訳（メタデータ） (2021-06-07T16:30:46Z)
• Policy design in experiments with unknown interference [0.0]
  流出効果を考慮した政策の推定と推定について検討した。 単位は有限個の大きなクラスタにまとめられる。 本研究では,大規模フィールド実験における理論的保証と実装について述べる。
  論文  参考訳（メタデータ） (2020-11-16T18:58:54Z)
• Enabling Counterfactual Survival Analysis with Balanced Representations [64.17342727357618]
  生存データは様々な医学的応用、すなわち薬物開発、リスクプロファイリング、臨床試験で頻繁に見られる。 本稿では,生存結果に適用可能な対実的推論のための理論的基盤を持つ統一的枠組みを提案する。
  論文  参考訳（メタデータ） (2020-06-14T01:15:00Z)
• Almost-Matching-Exactly for Treatment Effect Estimation under Network Interference [73.23326654892963]
  本研究では,観測ネットワーク上でユニットが接続されたランダム化実験から直接処理効果を回復するマッチング手法を提案する。 本手法は, 近傍グラフ内の一意部分グラフの個数にほぼ一致する。
  論文  参考訳（メタデータ） (2020-03-02T15:21:20Z)
• Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework [68.96770035057716]
  A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。 本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-05T10:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。