論文の概要: Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems

• arxiv url: http://arxiv.org/abs/2005.12964v9
• Date: Fri, 4 Jun 2021 16:34:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 05:23:54.991493
• Title: Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems
• Title（参考訳）: 大規模レコメンダシステムにおけるデバイアスド候補生成のコントラスト学習
• Authors: Chang Zhou, Jianxin Ma, Jianwei Zhang, Jingren Zhou, Hongxia Yang
• Abstract要約: コントラスト損失の一般的な選択は、逆確率重み付けによる露光バイアスの低減と等価であることを示す。 我々はCLRecをさらに改良し、マルチCLRecを提案する。 提案手法は,少なくとも4ヶ月のオンラインA/Bテストとオフライン分析が実施され,大幅に改善されている。
• 参考スコア（独自算出の注目度）: 84.3996727203154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep candidate generation (DCG) that narrows down the collection of relevant items from billions to hundreds via representation learning has become prevalent in industrial recommender systems. Standard approaches approximate maximum likelihood estimation (MLE) through sampling for better scalability and address the problem of DCG in a way similar to language modeling. However, live recommender systems face severe exposure bias and have a vocabulary several orders of magnitude larger than that of natural language, implying that MLE will preserve and even exacerbate the exposure bias in the long run in order to faithfully fit the observed samples. In this paper, we theoretically prove that a popular choice of contrastive loss is equivalent to reducing the exposure bias via inverse propensity weighting, which provides a new perspective for understanding the effectiveness of contrastive learning. Based on the theoretical discovery, we design CLRec, a contrastive learning method to improve DCG in terms of fairness, effectiveness and efficiency in recommender systems with extremely large candidate size. We further improve upon CLRec and propose Multi-CLRec, for accurate multi-intention aware bias reduction. Our methods have been successfully deployed in Taobao, where at least four-month online A/B tests and offline analyses demonstrate its substantial improvements, including a dramatic reduction in the Matthew effect.
• Abstract（参考訳）: 表現学習による関連項目の収集を数十億から数百に絞り込むdcg(deep candidate generation)が,産業レコメンデーションシステムで普及している。 標準手法は、より優れたスケーラビリティを実現するためサンプリングを行い、言語モデリングに類似した方法でDCGの問題に対処する。 しかし、ライブレコメンデータシステムは厳しい露光バイアスに直面し、自然言語よりも数桁大きな語彙を持ち、mleは観察されたサンプルに忠実に適合するために長期にわたって露光バイアスを保存し、さらに悪化させることを示唆している。 本稿では,コントラスト損失の一般的な選択は,逆確率重み付けによる露出バイアスの低減と等価であることを理論的に証明し,コントラスト学習の有効性を理解するための新たな視点を提供する。 理論的な発見に基づいて,極めて大きな候補数を持つレコメンダシステムにおいて,DCGの公平性,有効性,効率性の観点から比較学習法であるCLRecを設計する。 我々はCLRecをさらに改良し、マルチCLRecを提案する。 提案手法は,少なくとも4ヶ月のオンラインA/Bテストとオフライン分析により,マシュー効果の劇的な低下を含む大幅な改善が示されたタオオで実施されている。

関連論文リスト

• Correcting for Popularity Bias in Recommender Systems via Item Loss Equalization [1.7771454131646311]
  人気アイテムの小さなセットが、高い相互作用率のために推奨結果を支配している。 この現象は、ニッチな興味のある人を無視しながら、メインストリームの趣味を持つユーザーに不当に利益をもたらす。 本稿では,推薦モデルのトレーニングプロセスに介入することで,この問題に対処するプロセス内アプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:34:18Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• Understanding Biases in ChatGPT-based Recommender Systems: Provider Fairness, Temporal Stability, and Recency [9.882829614199453]
  本稿では,ChatGPTに基づく推薦システムにおけるバイアスについて考察し,提供者フェアネス(イテム側フェアネス)に着目した。 最初の実験では、トップK推薦の精度と公平性について、7つの異なるプロンプトシナリオを評価した。 フェアネスを「フェアレコメンデーターとしての行動」のようなシステムの役割に組み込むことは、プロンプト内のフェアネスディレクティブよりも効果的であることが証明された。
  論文  参考訳（メタデータ） (2024-01-19T08:09:20Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Learning the Truth From Only One Side of the Story [58.65439277460011]
  一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。 理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-08T18:20:28Z)
• Accelerated Convergence for Counterfactual Learning to Rank [65.63997193915257]
  IPS重み付き勾配を持つSGD手法の収束速度は、IPS重みによる大きなばらつきに悩まされることを示す。 本稿では,従来のIPS重み付け勾配降下法よりも優れた収束性を有する新しい学習アルゴリズムであるCounterSampleを提案する。 我々は、CounterSampleがより早く収束し、理論的な結果と経験的な結果とを補完することを証明する。
  論文  参考訳（メタデータ） (2020-05-21T12:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。