論文の概要: Online Evaluation Methods for the Causal Effect of Recommendations
- arxiv url: http://arxiv.org/abs/2107.06630v2
- Date: Thu, 15 Jul 2021 14:02:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 10:47:34.116350
- Title: Online Evaluation Methods for the Causal Effect of Recommendations
- Title（参考訳）: 勧告の因果効果に関するオンライン評価手法
- Authors: Masahiro Sato
- Abstract要約: 本稿では, 因果効果の観点から, 推薦モデルを効率的に比較できる最初のインターリービング手法を提案する。
両項目の成果をインターリーブ付きリストとインターリーブ付きリストに含まない項目で測定する。
次に、シミュレーションオンライン実験により、オンライン評価手法の非バイアス性と効率性を検証する。
- 参考スコア（独自算出の注目度）: 0.20305676256390934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating the causal effect of recommendations is an important objective
because the causal effect on user interactions can directly leads to an
increase in sales and user engagement. To select an optimal recommendation
model, it is common to conduct A/B testing to compare model performance.
However, A/B testing of causal effects requires a large number of users, making
such experiments costly and risky. We therefore propose the first interleaving
methods that can efficiently compare recommendation models in terms of causal
effects. In contrast to conventional interleaving methods, we measure the
outcomes of both items on an interleaved list and items not on the interleaved
list, since the causal effect is the difference between outcomes with and
without recommendations. To ensure that the evaluations are unbiased, we either
select items with equal probability or weight the outcomes using inverse
propensity scores. We then verify the unbiasedness and efficiency of online
evaluation methods through simulated online experiments. The results indicate
that our proposed methods are unbiased and that they have superior efficiency
to A/B testing.
- Abstract（参考訳）: ユーザインタラクションに対する因果効果が直接的にセールスやユーザエンゲージメントの増加につながるため,レコメンデーションの因果効果を評価することが重要な目的である。
最適なレコメンデーションモデルを選択するには、モデル性能を比較するためにA/Bテストを行うのが一般的である。
しかし、因果効果のA/Bテストには多数のユーザーが必要であり、そのような実験は費用がかかり危険である。
そこで本研究では,因果効果の観点からレコメンデーションモデルを効率的に比較できる最初のインターリーブ手法を提案する。
従来のインターリーブ方式とは対照的に,提案する結果と非推奨の結果の差が因果効果であるので,インターリーブリストとインターリーブリストではない項目の双方の結果を測定する。
評価が不偏であることを保証するため、同じ確率の項目を選択するか、逆傾向スコアを用いて結果の重み付けを行う。
次に,オンライン評価手法の偏りと効率をシミュレートしたオンライン実験により検証する。
その結果,提案手法は非バイアスであり,A/B試験よりも効率がよいことがわかった。
関連論文リスト
- Causal Distillation for Alleviating Performance Heterogeneity in Recommender Systems [142.3424649008479]
歴史的相互作用の不均一な分布とレコメンダモデルのバイアス付きトレーニングを示す。
デバイアスドトレーニングの鍵は、ユーザの過去の行動と次の行動の両方に影響を与える共同創設者の影響を取り除くことである。
本稿では,非保守的共同設立者に対応するために,因果多教師蒸留フレームワーク(CausalD)を提案する。
論文 参考訳（メタデータ） (2024-05-31T05:31:00Z) - A First Look at Selection Bias in Preference Elicitation for Recommendation [64.44255178199846]
選好選好における選好バイアスの影響について検討した。
大きなハードルは、好みの推論インタラクションを持つ公開データセットがないことです。
本稿では,トピックに基づく選好提案プロセスのシミュレーションを提案する。
論文 参考訳（メタデータ） (2024-05-01T14:56:56Z) - Be Aware of the Neighborhood Effect: Modeling Selection Bias under Interference [50.95521705711802]
従来の研究では、予測モデルの偏りのない学習を実現するために、選択バイアスに対処することに注力してきた。
本稿では、因果推論の観点から、近隣効果を干渉問題として公式に定式化する。
本稿では,近隣効果の存在下で選択バイアスに対処できる新しい理想的損失を提案する。
論文 参考訳（メタデータ） (2024-04-30T15:20:41Z) - Going Beyond Popularity and Positivity Bias: Correcting for Multifactorial Bias in Recommender Systems [74.47680026838128]
ユーザインタラクションデータとレコメンダシステム(RS)の2つの典型的なバイアスは、人気バイアスと肯定バイアスである。
項目と評価値の双方に影響される多因子選択バイアスについて検討する。
分散を低減し、最適化の堅牢性を向上させるため、スムースで交互に勾配降下する手法を提案する。
論文 参考訳（メタデータ） (2024-04-29T12:18:21Z) - Effect Size Estimation for Duration Recommendation in Online Experiments: Leveraging Hierarchical Models and Objective Utility Approaches [13.504353263032359]
仮定効果サイズ(AES)の選択は、実験の期間を決定的に決定し、その結果、その精度と効率が決定される。
伝統的に、実験者はドメイン知識に基づいてAESを決定するが、この方法は多数の実験を管理するオンライン実験サービスにとって実用的ではない。
オンライン実験サービスにおけるデータ駆動型AES選択のための2つのソリューションを提案する。
論文 参考訳（メタデータ） (2023-12-20T09:34:28Z) - Fair Effect Attribution in Parallel Online Experiments [57.13281584606437]
A/Bテストは、オンラインサービスで導入された変更の影響を確実に特定する目的で役立ちます。
オンラインプラットフォームでは,ユーザトラフィックをランダムに分割して多数の同時実験を行うのが一般的である。
異なるグループ間の完全なランダム化にもかかわらず、同時実験は互いに相互作用し、平均的な集団の結果に負の影響をもたらす。
論文 参考訳（メタデータ） (2022-10-15T17:15:51Z) - Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。
CPRは、露出メカニズムを知らずに不偏の推奨を達成する。
理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
論文 参考訳（メタデータ） (2022-04-26T09:20:27Z) - A Two-Stage Feature Selection Approach for Robust Evaluation of
Treatment Effects in High-Dimensional Observational Data [1.4710887888397084]
我々は,OAENet(Outcome Adaptive Elastic Net)と呼ばれる新しい2段階特徴選択手法を提案する。
OAENetは、マッチング技術を用いて堅牢な因果推論決定を行うように設計されている。
シミュレーションデータに関する数値実験により、OAENetは最先端の手法を大きく上回っていることが示された。
論文 参考訳（メタデータ） (2021-11-27T02:54:30Z) - Causality-Aware Neighborhood Methods for Recommender Systems [3.0919302844782717]
販売の増加などのリコメンデーターのビジネス目的は、レコメンデーションの因果効果と一致している。
以前の推奨者は因果推論において逆確率スコアリング(IPS)を採用している。
推薦の因果効果に対するロバストなランキング手法を開発した。
論文 参考訳（メタデータ） (2020-12-17T08:23:17Z) - Unbiased Learning for the Causal Effect of Recommendation [8.849159720632612]
本稿では,推薦の因果効果に対する非バイアス学習フレームワークを提案する。
ランキング尺度の因果効果拡張のための非バイアス学習法を開発した。
論文 参考訳（メタデータ） (2020-08-11T07:30:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。