論文の概要: Do More Negative Samples Necessarily Hurt in Contrastive Learning?

• arxiv url: http://arxiv.org/abs/2205.01789v1
• Date: Tue, 3 May 2022 21:29:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-05 13:30:54.881821
• Title: Do More Negative Samples Necessarily Hurt in Contrastive Learning?
• Title（参考訳）: 矛盾学習に必要となる負のサンプルは多いか?
• Authors: Pranjal Awasthi, Nishanth Dikkala, Pritish Kamath
• Abstract要約: 提案手法は,下層の潜在クラスから正のペアをサンプリングすることによって生成する単純な理論的条件下で,表現の下流性能が負のサンプル数で低下しないことを示す。 また、フレームワークにおける最適な表現の構造的特徴も与える。
• 参考スコア（独自算出の注目度）: 25.234544066205547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent investigations in noise contrastive estimation suggest, both empirically as well as theoretically, that while having more "negative samples" in the contrastive loss improves downstream classification performance initially, beyond a threshold, it hurts downstream performance due to a "collision-coverage" trade-off. But is such a phenomenon inherent in contrastive learning? We show in a simple theoretical setting, where positive pairs are generated by sampling from the underlying latent class (introduced by Saunshi et al. (ICML 2019)), that the downstream performance of the representation optimizing the (population) contrastive loss in fact does not degrade with the number of negative samples. Along the way, we give a structural characterization of the optimal representation in our framework, for noise contrastive estimation. We also provide empirical support for our theoretical results on CIFAR-10 and CIFAR-100 datasets.
• Abstract（参考訳）: 最近のノイズコントラスト推定の研究では、経験的および理論的に、コントラスト損失においてより「負のサンプル」を持つが、最初は閾値を超えて下流分類性能が向上するが、"コリシオン・カバー"のトレードオフにより下流分類性能が低下することを示唆している。 しかし、このような現象は対照的な学習に固有ののか? 基礎となる潜在クラス(saunshi et al. (icml 2019) によるサンプリングによって正のペアが生成される単純な理論設定において、(人口)コントラスト損失を最適化する表現の下流性能は、実際には負のサンプル数に低下しないことを示した。 その過程で,ノイズコントラスト推定のための枠組みにおける最適表現の構造的特徴付けを行う。 また,CIFAR-10およびCIFAR-100データセットの理論的結果に対する実証的支援を行った。

関連論文リスト

• Relation-Aware Network with Attention-Based Loss for Few-Shot Knowledge Graph Completion [9.181270251524866]
  現在のアプローチでは、マージンベースのランキング損失を最小限に抑えるために、参照エンティティペア毎に1つの負のサンプルをランダムに選択する。 本稿では,意図に基づくロスフレームワークを用いたリレーショナル・アウェア・ネットワークを提案する。 実験により、RANAは2つのベンチマークデータセットで最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-15T21:41:43Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Hard Negative Sampling via Regularized Optimal Transport for Contrastive Representation Learning [13.474603286270836]
  本研究では、教師なしコントラスト表現学習のためのハードネガティブサンプリング分布の設計問題について検討する。 本稿では,最大(Worst-case)一般化されたコントラスト学習損失を最小限に抑える表現を求める新しいmin-maxフレームワークの提案と解析を行う。
  論文  参考訳（メタデータ） (2021-11-04T21:25:24Z)
• Sharp Learning Bounds for Contrastive Unsupervised Representation Learning [4.017760528208122]
  本研究は, 負のサンプルサイズにおいて, 厳密なインターセプトに縛られた下流の分類損失を確定する。 下流損失推定器としての対照的な損失について、我々の理論は既存の学習限界を大幅に改善する。 我々は、我々の理論が合成、視覚、言語データセットに関する実験と一致していることを検証する。
  論文  参考訳（メタデータ） (2021-10-06T04:29:39Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Understanding Hard Negatives in Noise Contrastive Estimation [21.602701327267905]
  ハードマイナスの役割を理解するための分析ツールを開発した。 テキスト検索に用いられる様々なアーキテクチャを統一するスコア関数の一般的な形式を導出する。
  論文  参考訳（メタデータ） (2021-04-13T14:42:41Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
  最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-05-20T06:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。