論文の概要: On the Theories Behind Hard Negative Sampling for Recommendation

• arxiv url: http://arxiv.org/abs/2302.03472v1
• Date: Tue, 7 Feb 2023 13:57:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 16:24:15.819912
• Title: On the Theories Behind Hard Negative Sampling for Recommendation
• Title（参考訳）: 推奨のためのハードネガティブサンプリングの背後にある理論について
• Authors: Wentao Shi, Jiawei Chen, Fuli Feng, Jizhi Zhang, Junkang Wu, Chongming Gao and Xiangnan He
• Abstract要約: ハードネガティブサンプリング(HNS)を効果的に活用するための2つの洞察に富んだガイドラインを提供する。 パーソナライズされたランク付け(BPR)学習者におけるHNSの利用は、一方通行部分AUC(OPAUC)の最適化と等価であることを示す。 これらの分析は、初めてトップKレコメンデーションパフォーマンスを最適化するHNSの理論的基盤を確立する。
• 参考スコア（独自算出の注目度）: 51.64626293229085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Negative sampling has been heavily used to train recommender models on large-scale data, wherein sampling hard examples usually not only accelerates the convergence but also improves the model accuracy. Nevertheless, the reasons for the effectiveness of Hard Negative Sampling (HNS) have not been revealed yet. In this work, we fill the research gap by conducting thorough theoretical analyses on HNS. Firstly, we prove that employing HNS on the Bayesian Personalized Ranking (BPR) learner is equivalent to optimizing One-way Partial AUC (OPAUC). Concretely, the BPR equipped with Dynamic Negative Sampling (DNS) is an exact estimator, while with softmax-based sampling is a soft estimator. Secondly, we prove that OPAUC has a stronger connection with Top-K evaluation metrics than AUC and verify it with simulation experiments. These analyses establish the theoretical foundation of HNS in optimizing Top-K recommendation performance for the first time. On these bases, we offer two insightful guidelines for effective usage of HNS: 1) the sampling hardness should be controllable, e.g., via pre-defined hyper-parameters, to adapt to different Top-K metrics and datasets; 2) the smaller the $K$ we emphasize in Top-K evaluation metrics, the harder the negative samples we should draw. Extensive experiments on three real-world benchmarks verify the two guidelines.
• Abstract（参考訳）: 負のサンプリングは大規模データのレコメンデーターモデルのトレーニングに多く用いられており、サンプルサンプリングは通常、収束を加速するだけでなく、モデルの精度も向上する。 それでも、ハードネガティブサンプリング(HNS)の有効性は明らかにされていない。 本研究では,HNSに関する詳細な理論的解析を行うことにより,研究ギャップを埋める。 まず,ベイジアン・パーソナライズ・ランキング(BPR)学習者におけるHNSの利用は,一方通行部分AUC(OPAUC)の最適化と等価であることを示す。 具体的には、動的負サンプリング(DNS)を備えたBPRは正確な推定器であり、ソフトマックスに基づくサンプリングはソフトな推定器である。 第2に、OPAUCはAUCよりもTop-K評価指標と強い関係があることを証明し、シミュレーション実験で検証する。 これらの分析は、初めてトップKレコメンデーションパフォーマンスを最適化するHNSの理論的基盤を確立する。 これらの基盤から、HNSを効果的に活用するための2つの洞察に富んだガイドラインを提供する。 1) サンプリング硬度は、例えば、予め定義されたハイパーパラメータを介して制御可能であり、異なるTop-Kメトリクスやデータセットに適応する必要がある。 2)Top-K評価指標で強調するK$が小さいほど、負のサンプルを描くのが難しくなります。 3つの実世界のベンチマークに関する大規模な実験は、この2つのガイドラインを検証する。

関連論文リスト

• Neural Importance Sampling for Rapid and Reliable Gravitational-Wave Inference [59.040209568168436]
  まず、ニューラルネットワークを用いてベイズ後部への高速な提案を行い、その基礎となる可能性と事前に基づいて重み付けを行う。 本発明は,(1)ネットワーク不正確性のない修正後部,(2)提案案の評価と故障事例の同定のための性能診断(サンプル効率),(3)ベイズ証拠の偏りのない推定を提供する。 LIGOとVirgoで観測された42個のブラックホールをSEOBNRv4PHMとIMRPhenomHMXP波形モデルで解析した。
  論文  参考訳（メタデータ） (2022-10-11T18:00:02Z)
• Ordinal Regression via Binary Preference vs Simple Regression: Statistical and Experimental Perspectives [11.969202112011963]
  入力刺激の主観的平均オピニオンスコア(MOS)を自動的に予測するために,アンカード参照サンプル(ORARS)を用いた正規回帰法が提案されている。 訓練されたバイナリ分類器は、どのサンプル、テストまたはアンカーが統計的に優れているかを予測するために使用される。
  論文  参考訳（メタデータ） (2022-07-06T05:52:19Z)
• Insights into performance evaluation of com-pound-protein interaction prediction methods [0.0]
  複合タンパク質相互作用(CPI)の機械学習による予測は、薬物設計、スクリーニング、再資源化研究において重要である。 我々は、モデル性能の楽観的な推定に繋がる実験設計において、多くの基本的な問題を観察してきた。
  論文  参考訳（メタデータ） (2022-01-28T20:07:19Z)
• Sensing Cox Processes via Posterior Sampling and Positive Bases [56.82162768921196]
  本研究では,空間統計学から広く用いられている点過程の適応センシングについて検討する。 我々は、この強度関数を、特別に構築された正の基底で表される、歪んだガウス過程のサンプルとしてモデル化する。 我々の適応センシングアルゴリズムはランゲヴィン力学を用いており、後続サンプリング(textscCox-Thompson)と後続サンプリング(textscTop2)の原理に基づいている。
  論文  参考訳（メタデータ） (2021-10-21T14:47:06Z)
• Towards the Memorization Effect of Neural Networks in Adversarial Training [36.35802928128805]
  本研究では,有害な「非定型サンプル」の適合を避けるために,対人訓練を容易にするベニグナ・アドバイザリ・トレーニング(BAT)を提案する。 BATは、CIFAR100やTinyImageNetといったベンチマークデータセットにおいて、ベースラインメソッドよりもクリーンな精度とロバストなトレードオフを達成できる。
  論文  参考訳（メタデータ） (2021-06-09T03:47:32Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
  最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-05-20T06:25:21Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。