論文の概要: Investigating the Role of Negatives in Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2106.09943v1
• Date: Fri, 18 Jun 2021 06:44:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:26:38.287852
• Title: Investigating the Role of Negatives in Contrastive Representation Learning
• Title（参考訳）: 対照表現学習における負の役割の検討
• Authors: Jordan T. Ash, Surbhi Goel, Akshay Krishnamurthy and Dipendra Misra
• Abstract要約: ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
• 参考スコア（独自算出の注目度）: 59.30700308648194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Noise contrastive learning is a popular technique for unsupervised representation learning. In this approach, a representation is obtained via reduction to supervised learning, where given a notion of semantic similarity, the learner tries to distinguish a similar (positive) example from a collection of random (negative) examples. The success of modern contrastive learning pipelines relies on many parameters such as the choice of data augmentation, the number of negative examples, and the batch size; however, there is limited understanding as to how these parameters interact and affect downstream performance. We focus on disambiguating the role of one of these parameters: the number of negative examples. Theoretically, we show the existence of a collision-coverage trade-off suggesting that the optimal number of negative examples should scale with the number of underlying concepts in the data. Empirically, we scrutinize the role of the number of negatives in both NLP and vision tasks. In the NLP task, we find that the results broadly agree with our theory, while our vision experiments are murkier with performance sometimes even being insensitive to the number of negatives. We discuss plausible explanations for this behavior and suggest future directions to better align theory and practice.
• Abstract（参考訳）: ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 このアプローチでは,教師あり学習への還元により表現が得られ,意味的類似性の概念が与えられた学習者は,類似した(肯定的な)例をランダムな(否定的な)例のコレクションと区別しようとする。 現代のコントラスト学習パイプラインの成功は、データ拡張の選択、否定的な例の数、バッチサイズといった多くのパラメータに依存しているが、これらのパラメータが下流のパフォーマンスにどのように相互作用し影響するかについては、限定的な理解がある。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 理論的には、衝突被覆トレードオフの存在が示され、データの下位概念の数に最適な負の例の数をスケールすべきことを示唆する。 実験では,NLPタスクと視覚タスクの両方において負の数の役割を精査する。 NLPタスクでは、結果が我々の理論と広く一致しているのに対し、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。 我々は,この行動の正当な説明を議論し,理論と実践をよりよく整えるための今後の方向性を提案する。

関連論文リスト

• KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning [31.139620652818838]
  マルチモーダル表現の識別と一般化性を高める新しい手法であるKDMCSEを提案する。 我々はまた、角空間内のマージンを強化することにより差別的表現を強化する新しいコントラスト的目的であるAdapACSEを導入する。
  論文  参考訳（メタデータ） (2024-03-26T08:32:39Z)
• Clustering-Aware Negative Sampling for Unsupervised Sentence Representation [24.15096466098421]
  ClusterNSは、教師なし文表現学習のためのコントラスト学習にクラスタ情報を組み込む新しい手法である。 修正K平均クラスタリングアルゴリズムを用いて、ハードネガティブを供給し、トレーニング中にバッチ内偽陰性を認識する。
  論文  参考訳（メタデータ） (2023-05-17T02:06:47Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Understanding Hard Negatives in Noise Contrastive Estimation [21.602701327267905]
  ハードマイナスの役割を理解するための分析ツールを開発した。 テキスト検索に用いられる様々なアーキテクチャを統一するスコア関数の一般的な形式を導出する。
  論文  参考訳（メタデータ） (2021-04-13T14:42:41Z)
• Understanding Negative Samples in Instance Discriminative Self-supervised Representation Learning [29.583194697391253]
  自己監督型表現学習は、実際には教師付きクラスの数よりもネガティブなサンプルを使用することが多い。 負のサンプルに関するこの実験結果を理論的に説明します。 CIFAR-10/100データセットの数値実験を行い,本解析の実証的検証を行った。
  論文  参考訳（メタデータ） (2021-02-13T05:46:33Z)
• AdCo: Adversarial Contrast for Efficient Learning of Unsupervised Representations from Self-Trained Negative Adversaries [55.059844800514774]
  本稿では,正の問合せに対して識別が難しい表現を訓練するためのAdCoモデルを提案する。 実験により,AdCoモデルが優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-11-17T05:45:46Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。