論文の概要: A Theoretical Analysis of Recommendation Loss Functions under Negative Sampling

• arxiv url: http://arxiv.org/abs/2411.07770v1
• Date: Tue, 12 Nov 2024 13:06:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:19:52.448592
• Title: A Theoretical Analysis of Recommendation Loss Functions under Negative Sampling
• Title（参考訳）: 負サンプリングによる推薦損失関数の理論解析
• Authors: Giulia Di Teodoro, Federico Siciliano, Nicola Tonellotto, Fabrizio Silvestri,
• Abstract要約: 本稿では,Recommender Systems(RS)における損失関数の比較分析を行う。 1つの負のサンプルを用いた場合、BCE(Binary Cross-Entropy)、CCE(Categorical Cross-Entropy)、BPR(Bayesian Personalized Ranking)が等価であることを示す。
• 参考スコア（独自算出の注目度）: 13.180345241212423
• License:
• Abstract: Recommender Systems (RSs) are pivotal in diverse domains such as e-commerce, music streaming, and social media. This paper conducts a comparative analysis of prevalent loss functions in RSs: Binary Cross-Entropy (BCE), Categorical Cross-Entropy (CCE), and Bayesian Personalized Ranking (BPR). Exploring the behaviour of these loss functions across varying negative sampling settings, we reveal that BPR and CCE are equivalent when one negative sample is used. Additionally, we demonstrate that all losses share a common global minimum. Evaluation of RSs mainly relies on ranking metrics known as Normalized Discounted Cumulative Gain (NDCG) and Mean Reciprocal Rank (MRR). We produce bounds of the different losses for negative sampling settings to establish a probabilistic lower bound for NDCG. We show that the BPR bound on NDCG is weaker than that of BCE, contradicting the common assumption that BPR is superior to BCE in RSs training. Experiments on five datasets and four models empirically support these theoretical findings. Our code is available at \url{https://anonymous.4open.science/r/recsys_losses} .
• Abstract（参考訳）: Recommender Systems(RS)は、eコマース、音楽ストリーミング、ソーシャルメディアなど、さまざまな分野において重要な存在である。 本稿では,2値クロスエントロピー(BCE),カテゴリークロスエントロピー(CCE),ベイズパーソナライズドランクリング(BPR)など,RSの一般的な損失関数の比較分析を行う。 これらの損失関数の振舞いを様々な負のサンプリング設定で探索し、BPRとCCEは1つの負のサンプルが使用される場合に等価であることを示した。 さらに、すべての損失が共通のグローバルな最小値を共有していることを示す。 RSの評価は主に、正規化された非カウント累積ゲイン (NDCG) と平均相互ランク (MRR) と呼ばれるランクの指標に依存する。 我々は、NDCGの確率的下限を確立するために、負のサンプリング設定に対する異なる損失のバウンダリを生成する。 我々は,NDCG 上の BPR が BCE よりも弱いことを示し,BPR が RS 訓練において BCE よりも優れているという一般的な仮定に矛盾することを示した。 5つのデータセットと4つのモデルの実験は、これらの理論的な発見を実証的に支持している。 私たちのコードは \url{https://anonymous.4open.science/r/recsys_losses} で利用可能です。

関連論文リスト

• SimCE: Simplifying Cross-Entropy Loss for Collaborative Filtering [47.81610130269399]
  SSM(Sampred Softmax Cross-Entropy)を提案する。 また,上界を用いてSSMを単純化するアンダーラインSimplified Sampled Softmax underlineCross-underlineEntropy Loss (SimCE)を導入する。 MFとLightGCNの両方のバックボーンを使用して、12のベンチマークデータセットに対する検証を行ったところ、SimCEはBPRとSSMの両方で大幅に優れていた。
  論文  参考訳（メタデータ） (2024-06-23T17:24:07Z)
• gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling [67.71952251641545]
  負のサンプリングで訓練されたモデルは、正の相互作用の確率を過大評価する傾向がある。 本稿では, 一般化二項クロスエントロピー損失関数(gBCE)を提案する。 本稿では,gSASRecが過信問題を示さない3つのデータセットについて詳細な実験を行った。
  論文  参考訳（メタデータ） (2023-08-14T14:56:40Z)
• On the Theories Behind Hard Negative Sampling for Recommendation [51.64626293229085]
  ハードネガティブサンプリング(HNS)を効果的に活用するための2つの洞察に富んだガイドラインを提供する。 パーソナライズされたランク付け(BPR)学習者におけるHNSの利用は、一方通行部分AUC(OPAUC)の最適化と等価であることを示す。 これらの分析は、初めてトップKレコメンデーションパフォーマンスを最適化するHNSの理論的基盤を確立する。
  論文  参考訳（メタデータ） (2023-02-07T13:57:03Z)
• Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
  従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。 そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の 総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-07-04T13:51:29Z)
• Comprehensive Analysis of Negative Sampling in Knowledge Graph Representation Learning [25.664174172917345]
  負のサンプリング(NS)損失は、膨大な数のエンティティを扱うための知識グラフ埋め込み(KGE)の学習において重要な役割を果たす。 KGE学習において, NS損失を理論的に解析し, ハイパーパラメータチューニングを補助し, NS損失の有効利用を理解する。 FB15k-237, WN18RR, YAGO3-10データセットに関する実証分析の結果, 実際に訓練されたモデルの結果と理論的な結果が一致していることが判明した。
  論文  参考訳（メタデータ） (2022-06-21T06:51:33Z)
• Do More Negative Samples Necessarily Hurt in Contrastive Learning? [25.234544066205547]
  提案手法は,下層の潜在クラスから正のペアをサンプリングすることによって生成する単純な理論的条件下で,表現の下流性能が負のサンプル数で低下しないことを示す。 また、フレームワークにおける最適な表現の構造的特徴も与える。
  論文  参考訳（メタデータ） (2022-05-03T21:29:59Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。