論文の概要: A Theoretical Analysis of Recommendation Loss Functions under Negative Sampling

• arxiv url: http://arxiv.org/abs/2411.07770v1
• Date: Tue, 12 Nov 2024 13:06:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:19:52.448592
• Title: A Theoretical Analysis of Recommendation Loss Functions under Negative Sampling
• Title（参考訳）: 負サンプリングによる推薦損失関数の理論解析
• Authors: Giulia Di Teodoro, Federico Siciliano, Nicola Tonellotto, Fabrizio Silvestri,
• Abstract要約: 本稿では,Recommender Systems(RS)における損失関数の比較分析を行う。 1つの負のサンプルを用いた場合、BCE(Binary Cross-Entropy)、CCE(Categorical Cross-Entropy)、BPR(Bayesian Personalized Ranking)が等価であることを示す。
• 参考スコア（独自算出の注目度）: 13.180345241212423
• License:
• Abstract: Recommender Systems (RSs) are pivotal in diverse domains such as e-commerce, music streaming, and social media. This paper conducts a comparative analysis of prevalent loss functions in RSs: Binary Cross-Entropy (BCE), Categorical Cross-Entropy (CCE), and Bayesian Personalized Ranking (BPR). Exploring the behaviour of these loss functions across varying negative sampling settings, we reveal that BPR and CCE are equivalent when one negative sample is used. Additionally, we demonstrate that all losses share a common global minimum. Evaluation of RSs mainly relies on ranking metrics known as Normalized Discounted Cumulative Gain (NDCG) and Mean Reciprocal Rank (MRR). We produce bounds of the different losses for negative sampling settings to establish a probabilistic lower bound for NDCG. We show that the BPR bound on NDCG is weaker than that of BCE, contradicting the common assumption that BPR is superior to BCE in RSs training. Experiments on five datasets and four models empirically support these theoretical findings. Our code is available at \url{https://anonymous.4open.science/r/recsys_losses} .
• Abstract（参考訳）: Recommender Systems(RS)は、eコマース、音楽ストリーミング、ソーシャルメディアなど、さまざまな分野において重要な存在である。 本稿では,2値クロスエントロピー(BCE),カテゴリークロスエントロピー(CCE),ベイズパーソナライズドランクリング(BPR)など,RSの一般的な損失関数の比較分析を行う。 これらの損失関数の振舞いを様々な負のサンプリング設定で探索し、BPRとCCEは1つの負のサンプルが使用される場合に等価であることを示した。 さらに、すべての損失が共通のグローバルな最小値を共有していることを示す。 RSの評価は主に、正規化された非カウント累積ゲイン (NDCG) と平均相互ランク (MRR) と呼ばれるランクの指標に依存する。 我々は、NDCGの確率的下限を確立するために、負のサンプリング設定に対する異なる損失のバウンダリを生成する。 我々は,NDCG 上の BPR が BCE よりも弱いことを示し,BPR が RS 訓練において BCE よりも優れているという一般的な仮定に矛盾することを示した。 5つのデータセットと4つのモデルの実験は、これらの理論的な発見を実証的に支持している。 私たちのコードは \url{https://anonymous.4open.science/r/recsys_losses} で利用可能です。

関連論文リスト

• SimCE: Simplifying Cross-Entropy Loss for Collaborative Filtering [47.81610130269399]
  SSM(Sampred Softmax Cross-Entropy)を提案する。 また,上界を用いてSSMを単純化するアンダーラインSimplified Sampled Softmax underlineCross-underlineEntropy Loss (SimCE)を導入する。 MFとLightGCNの両方のバックボーンを使用して、12のベンチマークデータセットに対する検証を行ったところ、SimCEはBPRとSSMの両方で大幅に優れていた。
  論文  参考訳（メタデータ） (2024-06-23T17:24:07Z)
• Comprehensive Analysis of Negative Sampling in Knowledge Graph Representation Learning [25.664174172917345]
  負のサンプリング(NS)損失は、膨大な数のエンティティを扱うための知識グラフ埋め込み(KGE)の学習において重要な役割を果たす。 KGE学習において, NS損失を理論的に解析し, ハイパーパラメータチューニングを補助し, NS損失の有効利用を理解する。 FB15k-237, WN18RR, YAGO3-10データセットに関する実証分析の結果, 実際に訓練されたモデルの結果と理論的な結果が一致していることが判明した。
  論文  参考訳（メタデータ） (2022-06-21T06:51:33Z)
• Do More Negative Samples Necessarily Hurt in Contrastive Learning? [25.234544066205547]
  提案手法は,下層の潜在クラスから正のペアをサンプリングすることによって生成する単純な理論的条件下で,表現の下流性能が負のサンプル数で低下しないことを示す。 また、フレームワークにおける最適な表現の構造的特徴も与える。
  論文  参考訳（メタデータ） (2022-05-03T21:29:59Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Cram\'er-Rao bound-informed training of neural networks for quantitative MRI [11.964144201247198]
  ニューラルネットワークは、定量的MRI、特に磁気共鳴フィンガープリントでパラメーターを推定するためにますます使われている。 それらの利点は、より優れた速度と非効率な非バイアス推定器の優位性である。 しかし、不均一なパラメータを推定することは困難である。 CRBを用いて二乗誤差を正規化するClam'erRao損失関数を提案する。
  論文  参考訳（メタデータ） (2021-09-22T06:38:03Z)
• Oversampling Divide-and-conquer for Response-skewed Kernel Ridge Regression [20.00435452480056]
  本研究では,分割・分散手法の限界を克服するために,新しい応答適応分割戦略を開発する。 提案手法は, 従来のダックKRR推定値よりも小さい平均二乗誤差(AMSE)を有することを示す。
  論文  参考訳（メタデータ） (2021-07-13T04:01:04Z)
• Focal and Efficient IOU Loss for Accurate Bounding Box Regression [63.14659624634066]
  オブジェクト検出では、境界ボックス回帰(BBR)はオブジェクトローカリゼーションのパフォーマンスを決定する重要なステップです。 i) $ell_n$-norm と IOU ベースのロス関数はどちらも BBR の目的を描くのに非効率的であり、これは遅い収束と不正確な回帰結果をもたらす。
  論文  参考訳（メタデータ） (2021-01-20T14:33:58Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。