論文の概要: A Theoretical Analysis of Recommendation Loss Functions under Negative Sampling

• arxiv url: http://arxiv.org/abs/2411.07770v2
• Date: Tue, 04 Feb 2025 21:30:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:23:38.410720
• Title: A Theoretical Analysis of Recommendation Loss Functions under Negative Sampling
• Title（参考訳）: 負サンプリングによる推薦損失関数の理論解析
• Authors: Giulia Di Teodoro, Federico Siciliano, Nicola Tonellotto, Fabrizio Silvestri,
• Abstract要約: CCE(Categorical Cross Entropy)、BCE(Binary Cross Entropy)、BPR(Bayesian Personalized Ranking)といった損失関数は、レコメンダシステム(Recommender Systems、RS)において、ユーザによって対話されるポジティブな項目とネガティブな項目を区別するために一般的に使用されている。 我々は、CCEが正規化カウント累積ゲイン(NDCG)や平均相反ランク(MRR)のようなランキングの指標に最も厳しい下限を提供することを示す。 負のサンプリングでは、BPRとCCEは1つの負のサンプルが引かれるときに等価であり、3つの損失はすべて同じ大域最小値に収束する。
• 参考スコア（独自算出の注目度）: 13.180345241212423
• License:
• Abstract: Loss functions like Categorical Cross Entropy (CCE), Binary Cross Entropy (BCE), and Bayesian Personalized Ranking (BPR) are commonly used in training Recommender Systems (RSs) to differentiate positive items - those interacted with by users - and negative items. While prior works empirically showed that CCE outperforms BCE and BPR when using the full set of negative items, we provide a theoretical explanation for this by proving that CCE offers the tightest lower bound on ranking metrics like Normalized Discounted Cumulative Gain (NDCG) and Mean Reciprocal Rank (MRR), followed by BPR and BCE. However, using the full set of negative items is computationally infeasible for large-scale RSs, prompting the use of negative sampling techniques. Under negative sampling, we reveal that BPR and CCE are equivalent when a single negative sample is drawn, and all three losses converge to the same global minimum. We further demonstrate that the sampled losses remain lower bounds for NDCG (MRR), albeit in a probabilistic sense. Our worst-case analysis shows that BCE offers the strongest bound on NDCG (MRR). Experiments on five datasets and four models empirically support these theoretical findings. Our code is available at https://anonymous.4open.science/r/recsys_losses .
• Abstract（参考訳）: CCE(Categorical Cross Entropy)、BCE(Binary Cross Entropy)、BPR(Bayesian Personalized Ranking)といった損失関数は、レコメンダシステム(Recommender Systems, RS)のトレーニングで一般的に使われ、ポジティブな項目(ユーザによって対話されるもの)とネガティブな項目を区別する。 先行研究では,CCEがBCEとBPRより優れていることが実証的に証明されているが,CCEが正規化非カウント累積ゲイン(NDCG)や平均相反ランク(MRR)などのランキング指標に対して,BPRとBCEに次いでBCEとBCEが厳密な下限を提供することを証明して理論的に説明している。 しかし、大規模なRSでは、正の項目の完全なセットの使用は計算不可能であり、負のサンプリング技術の使用が促される。 負のサンプリングでは、BPRとCCEは1つの負のサンプルが引かれるときに等価であり、3つの損失はすべて同じ大域最小値に収束する。 さらに, NDCG (MRR) の損失は, 確率論的には低い値のままであることを示す。 我々の最悪のケース分析は、BCEがNDCG(MRR)に最も強いバウンドを提供することを示している。 5つのデータセットと4つのモデルの実験は、これらの理論的な発見を実証的に支持している。 私たちのコードはhttps://anonymous.4open.science/r/recsys_lossesで利用可能です。

関連論文リスト

• SimCE: Simplifying Cross-Entropy Loss for Collaborative Filtering [47.81610130269399]
  SSM(Sampred Softmax Cross-Entropy)を提案する。 また,上界を用いてSSMを単純化するアンダーラインSimplified Sampled Softmax underlineCross-underlineEntropy Loss (SimCE)を導入する。 MFとLightGCNの両方のバックボーンを使用して、12のベンチマークデータセットに対する検証を行ったところ、SimCEはBPRとSSMの両方で大幅に優れていた。
  論文  参考訳（メタデータ） (2024-06-23T17:24:07Z)
• Comprehensive Analysis of Negative Sampling in Knowledge Graph Representation Learning [25.664174172917345]
  負のサンプリング(NS)損失は、膨大な数のエンティティを扱うための知識グラフ埋め込み(KGE)の学習において重要な役割を果たす。 KGE学習において, NS損失を理論的に解析し, ハイパーパラメータチューニングを補助し, NS損失の有効利用を理解する。 FB15k-237, WN18RR, YAGO3-10データセットに関する実証分析の結果, 実際に訓練されたモデルの結果と理論的な結果が一致していることが判明した。
  論文  参考訳（メタデータ） (2022-06-21T06:51:33Z)
• Do More Negative Samples Necessarily Hurt in Contrastive Learning? [25.234544066205547]
  提案手法は,下層の潜在クラスから正のペアをサンプリングすることによって生成する単純な理論的条件下で,表現の下流性能が負のサンプル数で低下しないことを示す。 また、フレームワークにおける最適な表現の構造的特徴も与える。
  論文  参考訳（メタデータ） (2022-05-03T21:29:59Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Cram\'er-Rao bound-informed training of neural networks for quantitative MRI [11.964144201247198]
  ニューラルネットワークは、定量的MRI、特に磁気共鳴フィンガープリントでパラメーターを推定するためにますます使われている。 それらの利点は、より優れた速度と非効率な非バイアス推定器の優位性である。 しかし、不均一なパラメータを推定することは困難である。 CRBを用いて二乗誤差を正規化するClam'erRao損失関数を提案する。
  論文  参考訳（メタデータ） (2021-09-22T06:38:03Z)
• Oversampling Divide-and-conquer for Response-skewed Kernel Ridge Regression [20.00435452480056]
  本研究では,分割・分散手法の限界を克服するために,新しい応答適応分割戦略を開発する。 提案手法は, 従来のダックKRR推定値よりも小さい平均二乗誤差(AMSE)を有することを示す。
  論文  参考訳（メタデータ） (2021-07-13T04:01:04Z)
• Focal and Efficient IOU Loss for Accurate Bounding Box Regression [63.14659624634066]
  オブジェクト検出では、境界ボックス回帰(BBR)はオブジェクトローカリゼーションのパフォーマンスを決定する重要なステップです。 i) $ell_n$-norm と IOU ベースのロス関数はどちらも BBR の目的を描くのに非効率的であり、これは遅い収束と不正確な回帰結果をもたらす。
  論文  参考訳（メタデータ） (2021-01-20T14:33:58Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。