論文の概要: Does Negative Sampling Matter? A Review with Insights into its Theory and Applications

• arxiv url: http://arxiv.org/abs/2402.17238v1
• Date: Tue, 27 Feb 2024 06:13:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 17:32:52.827189
• Title: Does Negative Sampling Matter? A Review with Insights into its Theory and Applications
• Title（参考訳）: ネガティブサンプリングは重要か? その理論と応用についての考察
• Authors: Zhen Yang, Ming Ding, Tinglin Huang, Yukuo Cen, Junshuai Song, Bin Xu, Yuxiao Dong, and Jie Tang
• Abstract要約: 我々は5つの進化経路を通して負のサンプリングの発達を辿った。 本稿では, 静的, ハード, GANベース, Auxiliaryベース, In-batchメソッドの5つのタイプに分類する。 我々は,開放的な問題と,ネガティブサンプリングの今後の方向性を簡潔に論じる。
• 参考スコア（独自算出の注目度）: 38.334590793859725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Negative sampling has swiftly risen to prominence as a focal point of research, with wide-ranging applications spanning machine learning, computer vision, natural language processing, data mining, and recommender systems. This growing interest raises several critical questions: Does negative sampling really matter? Is there a general framework that can incorporate all existing negative sampling methods? In what fields is it applied? Addressing these questions, we propose a general framework that leverages negative sampling. Delving into the history of negative sampling, we trace the development of negative sampling through five evolutionary paths. We dissect and categorize the strategies used to select negative sample candidates, detailing global, local, mini-batch, hop, and memory-based approaches. Our review categorizes current negative sampling methods into five types: static, hard, GAN-based, Auxiliary-based, and In-batch methods, providing a clear structure for understanding negative sampling. Beyond detailed categorization, we highlight the application of negative sampling in various areas, offering insights into its practical benefits. Finally, we briefly discuss open problems and future directions for negative sampling.
• Abstract（参考訳）: 負のサンプリングは、機械学習、コンピュータビジョン、自然言語処理、データマイニング、リコメンダシステムといった幅広い応用によって、研究の焦点として急速に注目を集めている。 負のサンプリングは本当に重要か? 既存の否定的サンプリングメソッドをすべて組み込むことのできる一般的なフレームワークはありますか? どんな分野で適用されますか? これらの疑問に対して,我々は負のサンプリングを利用する汎用フレームワークを提案する。 負のサンプリングの歴史を掘り下げて,5つの進化経路を通じて負のサンプリングの展開を追跡した。 我々は、グローバル、ローカル、ミニバッチ、ホップ、メモリベースのアプローチを詳述し、ネガティブなサンプル候補の選択に使用する戦略を特定し分類する。 本稿では,現在の負サンプリング法を静的,ハード,ganベース,補助ベース,インバッチ法と5つのタイプに分類し,負サンプリングを理解するための明確な構造を提供する。 詳細な分類以外にも,様々な分野における負のサンプリングの適用を強調し,その実用的メリットについて考察する。 最後に,オープン問題と負サンプリングの今後の方向性について概説する。

関連論文リスト

• SimANS: Simple Ambiguous Negatives Sampling for Dense Text Retrieval [126.22182758461244]
  評価結果によると, 正の値にランク付けされた負の値は, 一般的にはより情報的であり, 偽陰の可能性が低いことがわかった。 そこで本研究では,よりあいまいな負のサンプリングに新しいサンプリング確率分布を組み込んだ,単純な曖昧な負のサンプリング手法であるSimANSを提案する。
  論文  参考訳（メタデータ） (2022-10-21T07:18:05Z)
• Generating Negative Samples for Sequential Recommendation [83.60655196391855]
  逐次レコメンデーション(SR)のための負のサンプル(イテム)を生成することを提案する。 アイテムに対する現在のSRモデルの学習されたユーザの好みに基づいて、各タイムステップで負の項目をサンプリングする。 4つの公開データセットの実験は、SRに高品質な負のサンプルを提供することの重要性を検証する。
  論文  参考訳（メタデータ） (2022-08-07T05:44:13Z)
• Negative Sampling for Recommendation [7.758275614033198]
  高品質なネガティブなインスタンスを効果的にサンプルする方法は、レコメンデーションモデルを適切にトレーニングするために重要である。 我々は、高品質なネガティブは、テクスチュンフォームネスとテクスチュンバイアスネスの両方であるべきだと論じる。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
  最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-05-20T06:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。