論文の概要: Rethinking InfoNCE: How Many Negative Samples Do You Need?
- arxiv url: http://arxiv.org/abs/2105.13003v1
- Date: Thu, 27 May 2021 08:38:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-29 04:40:03.578467
- Title: Rethinking InfoNCE: How Many Negative Samples Do You Need?
- Title（参考訳）: infonceの再検討: 負のサンプルはいくつ必要か?
- Authors: Chuhan Wu, Fangzhao Wu, Yongfeng Huang
- Abstract要約: 半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。
トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
- 参考スコア（独自算出の注目度）: 54.146208195806636
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: InfoNCE loss is a widely used loss function for contrastive model training.
It aims to estimate the mutual information between a pair of variables by
discriminating between each positive pair and its associated $K$ negative
pairs. It is proved that when the sample labels are clean, the lower bound of
mutual information estimation is tighter when more negative samples are
incorporated, which usually yields better model performance. However, in many
real-world tasks the labels often contain noise, and incorporating too many
noisy negative samples for model training may be suboptimal. In this paper, we
study how many negative samples are optimal for InfoNCE in different scenarios
via a semi-quantitative theoretical framework. More specifically, we first
propose a probabilistic model to analyze the influence of the negative sampling
ratio $K$ on training sample informativeness. Then, we design a training
effectiveness function to measure the overall influence of training samples on
model learning based on their informativeness. We estimate the optimal negative
sampling ratio using the $K$ value that maximizes the training effectiveness
function. Based on our framework, we further propose an adaptive negative
sampling method that can dynamically adjust the negative sampling ratio to
improve InfoNCE based model training. Extensive experiments on different
real-world datasets show our framework can accurately predict the optimal
negative sampling ratio in different tasks, and our proposed adaptive negative
sampling method can achieve better performance than the commonly used fixed
negative sampling ratio strategy.
- Abstract（参考訳）: 情報損失は、コントラストモデルトレーニングで広く使用される損失関数である。
これは、各正の対とその関連する$K$負の対を識別することで、変数のペア間の相互情報を推定することを目的としている。
サンプルラベルがクリーンであれば,より負のサンプルを組み込んだ場合の相互情報推定の上限がより厳しくなり,モデル性能が向上することが証明された。
しかし、実世界の多くのタスクではラベルにはノイズが含まれており、モデルトレーニングにノイズの多い負のサンプルを多用することは最適ではないかもしれない。
本稿では, 半定量的理論フレームワークを用いて, InfoNCE に最適な負サンプル数について検討する。
より具体的には、まず、負サンプリング率$k$がトレーニングサンプル情報量に与える影響を分析する確率モデルを提案する。
そこで本研究では,モデル学習におけるトレーニングサンプルの全体的影響を,その情報性に基づいて測定する訓練効果関数を設計する。
トレーニングの有効性関数を最大化する$K$値を用いて最適負サンプリング比を推定する。
さらに,本フレームワークに基づいて,負サンプリング率を動的に調整し,InfoNCEに基づくモデルトレーニングを改善する適応型負サンプリング手法を提案する。
実世界の異なるデータセットに対する広範囲な実験により,提案手法は異なるタスクにおける最適負サンプリング比を正確に予測でき,提案手法は一般的な固定負サンプリング比戦略よりも優れた性能が得られることを示した。
関連論文リスト
- From Overfitting to Robustness: Quantity, Quality, and Variety Oriented Negative Sample Selection in Graph Contrastive Learning [38.87932592059369]
グラフコントラスト学習(GCL)は、ノードの埋め込みを学習する正負の学習と対比することを目的としている。
ノード分類下流タスクにおける有意義な埋め込み学習において, 正のサンプルと比較して, 負のサンプルの変化, 量, 品質が重要な役割を担っている。
本研究では, 負のサンプルの品質, バリエーション, 量について包括的に検討し, 新たな累積サンプル選択法を提案する。
論文 参考訳（メタデータ） (2024-06-21T10:47:26Z) - Data Pruning via Moving-one-Sample-out [61.45441981346064]
我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。
MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。
実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
論文 参考訳（メタデータ） (2023-10-23T08:00:03Z) - Generating Negative Samples for Sequential Recommendation [83.60655196391855]
逐次レコメンデーション(SR)のための負のサンプル(イテム)を生成することを提案する。
アイテムに対する現在のSRモデルの学習されたユーザの好みに基づいて、各タイムステップで負の項目をサンプリングする。
4つの公開データセットの実験は、SRに高品質な負のサンプルを提供することの重要性を検証する。
論文 参考訳（メタデータ） (2022-08-07T05:44:13Z) - Hard Negative Sampling Strategies for Contrastive Representation
Learning [4.1531215150301035]
UnReMixは、アンカーの類似性、モデルの不確実性、代表性を考慮に入れた、ハードネガティブなサンプリング戦略である。
いくつかのベンチマークによる実験結果から,UnReMixは正のサンプル選択を改良し,その後,最先端のコントラスト学習法と比較した場合の下流性能が向上することが示された。
論文 参考訳（メタデータ） (2022-06-02T17:55:15Z) - Exploring the Impact of Negative Samples of Contrastive Learning: A Case
Study of Sentence Embedding [14.295787044482136]
文埋め込みのための負のサンプル列を持つモーメントコントラスト学習モデル、すなわちMoCoSEを提案する。
我々は最大トレーサブル距離測定値を定義し、テキストが負のサンプルの履歴情報からどの程度の差があるかを学習する。
実験の結果,最大トレーサブル距離が一定の範囲にある場合に最もよい結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-02-26T08:29:25Z) - Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。
具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。
クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。
このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文 参考訳（メタデータ） (2021-03-09T15:15:32Z) - Conditional Negative Sampling for Contrastive Learning of Visual
Representations [19.136685699971864]
難解な負の選択、あるいは現在の例に類似した選択は、より強い表現をもたらす可能性があることを示す。
それぞれの正の周りの「リング」に、負を条件付きでサンプリングする相互情報推定器のファミリーを導入する。
これらの推定器は, 偏差が大きいが, NCEよりも分散度が低いことが証明された。
論文 参考訳（メタデータ） (2020-10-05T14:17:32Z) - Simplify and Robustify Negative Sampling for Implicit Collaborative
Filtering [42.832851785261894]
本稿では,まず,モデル学習において潜在的に重要な事例が少数存在することを実証的に観察し,ネガティブな事例を新たに理解する。
次に、メモリに格納された高分散サンプルを好んで、修正されていない偽陰性問題に取り組む。
2つの合成データセットと3つの実世界のデータセットの実証結果は、我々の負サンプリング法の堅牢性と優位性を示している。
論文 参考訳（メタデータ） (2020-09-07T19:08:26Z) - Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。
我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。
提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
論文 参考訳（メタデータ） (2020-05-20T06:25:21Z) - Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。
kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
論文 参考訳（メタデータ） (2020-03-12T12:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。