論文の概要: Online Evaluation Methods for the Causal Effect of Recommendations

• arxiv url: http://arxiv.org/abs/2107.06630v2
• Date: Thu, 15 Jul 2021 14:02:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-16 10:47:34.116350
• Title: Online Evaluation Methods for the Causal Effect of Recommendations
• Title（参考訳）: 勧告の因果効果に関するオンライン評価手法
• Authors: Masahiro Sato
• Abstract要約: 本稿では, 因果効果の観点から, 推薦モデルを効率的に比較できる最初のインターリービング手法を提案する。 両項目の成果をインターリーブ付きリストとインターリーブ付きリストに含まない項目で測定する。 次に、シミュレーションオンライン実験により、オンライン評価手法の非バイアス性と効率性を検証する。
• 参考スコア（独自算出の注目度）: 0.20305676256390934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating the causal effect of recommendations is an important objective because the causal effect on user interactions can directly leads to an increase in sales and user engagement. To select an optimal recommendation model, it is common to conduct A/B testing to compare model performance. However, A/B testing of causal effects requires a large number of users, making such experiments costly and risky. We therefore propose the first interleaving methods that can efficiently compare recommendation models in terms of causal effects. In contrast to conventional interleaving methods, we measure the outcomes of both items on an interleaved list and items not on the interleaved list, since the causal effect is the difference between outcomes with and without recommendations. To ensure that the evaluations are unbiased, we either select items with equal probability or weight the outcomes using inverse propensity scores. We then verify the unbiasedness and efficiency of online evaluation methods through simulated online experiments. The results indicate that our proposed methods are unbiased and that they have superior efficiency to A/B testing.
• Abstract（参考訳）: ユーザインタラクションに対する因果効果が直接的にセールスやユーザエンゲージメントの増加につながるため,レコメンデーションの因果効果を評価することが重要な目的である。 最適なレコメンデーションモデルを選択するには、モデル性能を比較するためにA/Bテストを行うのが一般的である。 しかし、因果効果のA/Bテストには多数のユーザーが必要であり、そのような実験は費用がかかり危険である。 そこで本研究では,因果効果の観点からレコメンデーションモデルを効率的に比較できる最初のインターリーブ手法を提案する。 従来のインターリーブ方式とは対照的に,提案する結果と非推奨の結果の差が因果効果であるので,インターリーブリストとインターリーブリストではない項目の双方の結果を測定する。 評価が不偏であることを保証するため、同じ確率の項目を選択するか、逆傾向スコアを用いて結果の重み付けを行う。 次に,オンライン評価手法の偏りと効率をシミュレートしたオンライン実験により検証する。 その結果,提案手法は非バイアスであり,A/B試験よりも効率がよいことがわかった。

関連論文リスト

• Be Aware of the Neighborhood Effect: Modeling Selection Bias under Interference [50.95521705711802]
  従来の研究では、予測モデルの偏りのない学習を実現するために、選択バイアスに対処することに注力してきた。 本稿では、因果推論の観点から、近隣効果を干渉問題として公式に定式化する。 本稿では,近隣効果の存在下で選択バイアスに対処できる新しい理想的損失を提案する。
  論文  参考訳（メタデータ） (2024-04-30T15:20:41Z)
• Effect Size Estimation for Duration Recommendation in Online Experiments: Leveraging Hierarchical Models and Objective Utility Approaches [13.504353263032359]
  仮定効果サイズ(AES)の選択は、実験の期間を決定的に決定し、その結果、その精度と効率が決定される。 伝統的に、実験者はドメイン知識に基づいてAESを決定するが、この方法は多数の実験を管理するオンライン実験サービスにとって実用的ではない。 オンライン実験サービスにおけるデータ駆動型AES選択のための2つのソリューションを提案する。
  論文  参考訳（メタデータ） (2023-12-20T09:34:28Z)
• Fair Effect Attribution in Parallel Online Experiments [57.13281584606437]
  A/Bテストは、オンラインサービスで導入された変更の影響を確実に特定する目的で役立ちます。 オンラインプラットフォームでは,ユーザトラフィックをランダムに分割して多数の同時実験を行うのが一般的である。 異なるグループ間の完全なランダム化にもかかわらず、同時実験は互いに相互作用し、平均的な集団の結果に負の影響をもたらす。
  論文  参考訳（メタデータ） (2022-10-15T17:15:51Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• A Two-Stage Feature Selection Approach for Robust Evaluation of Treatment Effects in High-Dimensional Observational Data [1.4710887888397084]
  我々は,OAENet(Outcome Adaptive Elastic Net)と呼ばれる新しい2段階特徴選択手法を提案する。 OAENetは、マッチング技術を用いて堅牢な因果推論決定を行うように設計されている。 シミュレーションデータに関する数値実験により、OAENetは最先端の手法を大きく上回っていることが示された。
  論文  参考訳（メタデータ） (2021-11-27T02:54:30Z)
• Reenvisioning Collaborative Filtering vs Matrix Factorization [65.74881520196762]
  近年,行列因数分解に基づく協調フィルタリングモデルや,ニューラルネットワーク(ANN)を用いた類似性の学習が注目されている。 推薦エコシステム内でのANNの発表が最近疑問視され、効率性と有効性に関していくつかの比較がなされている。 本研究では,これらの手法が相補的評価次元に与える影響を解析しながら,超精度評価にもたらす可能性を示す。
  論文  参考訳（メタデータ） (2021-07-28T16:29:38Z)
• Probabilistic and Variational Recommendation Denoising [56.879165033014026]
  暗黙のフィードバックから学ぶことは、推奨システムの適用において最も一般的なケースの1つである。 本稿では,暗黙のフィードバックに対する確率的・変動的推薦を提案する。 提案したDPIとDVAEを4つの最先端レコメンデーションモデルに適用し、3つのデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-05-20T08:59:44Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Causality-Aware Neighborhood Methods for Recommender Systems [3.0919302844782717]
  販売の増加などのリコメンデーターのビジネス目的は、レコメンデーションの因果効果と一致している。 以前の推奨者は因果推論において逆確率スコアリング(IPS)を採用している。 推薦の因果効果に対するロバストなランキング手法を開発した。
  論文  参考訳（メタデータ） (2020-12-17T08:23:17Z)
• Unbiased Learning for the Causal Effect of Recommendation [8.849159720632612]
  本稿では,推薦の因果効果に対する非バイアス学習フレームワークを提案する。 ランキング尺度の因果効果拡張のための非バイアス学習法を開発した。
  論文  参考訳（メタデータ） (2020-08-11T07:30:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。