論文の概要: Rethinking Samples Selection for Contrastive Learning: Mining of Potential Samples

• arxiv url: http://arxiv.org/abs/2311.00358v1
• Date: Wed, 1 Nov 2023 08:08:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 14:18:55.785283
• Title: Rethinking Samples Selection for Contrastive Learning: Mining of Potential Samples
• Title（参考訳）: コントラスト学習のためのサンプル選択の再考:潜在的サンプルのマイニング
• Authors: Hengkui Dong, Xianzhong Long, Yun Li
• Abstract要約: 対照的な学習は、2つの画像が同じカテゴリに属しているかどうかを予測する。 正と負の両方のサンプルを考慮し、2つの側面から潜在的サンプルをマイニングする。 CIFAR10, CIFAR100, TinyImagenetでそれぞれ88.57%, 61.10%, および36.69%のTop-1精度を達成した。
• 参考スコア（独自算出の注目度）: 5.586563813796839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning predicts whether two images belong to the same category by training a model to make their feature representations as close or as far away as possible. In this paper, we rethink how to mine samples in contrastive learning, unlike other methods, our approach is more comprehensive, taking into account both positive and negative samples, and mining potential samples from two aspects: First, for positive samples, we consider both the augmented sample views obtained by data augmentation and the mined sample views through data mining. Then, we weight and combine them using both soft and hard weighting strategies. Second, considering the existence of uninformative negative samples and false negative samples in the negative samples, we analyze the negative samples from the gradient perspective and finally mine negative samples that are neither too hard nor too easy as potential negative samples, i.e., those negative samples that are close to positive samples. The experiments show the obvious advantages of our method compared with some traditional self-supervised methods. Our method achieves 88.57%, 61.10%, and 36.69% top-1 accuracy on CIFAR10, CIFAR100, and TinyImagenet, respectively.
• Abstract（参考訳）: 対照的な学習は、2つのイメージが同じカテゴリに属するかどうかをモデルに訓練することで予測し、それらの特徴表現を可能な限り近く、あるいは遠くまで近づける。 本稿では,比較学習でサンプルをマイニングする方法を再考する。他の手法とは異なり,ポジティブなサンプルとネガティブなサンプルの両方を考慮してより包括的であり,潜在的なサンプルを2つの側面からマイニングする。 そして、柔らかい重み付け戦略と硬い重み付け戦略を併用し、重み付けします。 第二に, 負の試料中の非形成的負の試料と偽の負の試料の存在を考慮し, 勾配の観点から負の試料を分析し, 負の試料が負の試料に近いような, 難しすぎる, 容易すぎる, 負の試料を発掘する。 従来の自己管理手法と比較して,本手法の利点は明らかである。 CIFAR10, CIFAR100, TinyImagenetでそれぞれ88.57%, 61.10%, および36.69%のTop-1精度を達成した。

関連論文リスト

• From Overfitting to Robustness: Quantity, Quality, and Variety Oriented Negative Sample Selection in Graph Contrastive Learning [38.87932592059369]
  グラフコントラスト学習(GCL)は、ノードの埋め込みを学習する正負の学習と対比することを目的としている。 ノード分類下流タスクにおける有意義な埋め込み学習において, 正のサンプルと比較して, 負のサンプルの変化, 量, 品質が重要な役割を担っている。 本研究では, 負のサンプルの品質, バリエーション, 量について包括的に検討し, 新たな累積サンプル選択法を提案する。
  論文  参考訳（メタデータ） (2024-06-21T10:47:26Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Synthetic Hard Negative Samples for Contrastive Learning [8.776888865665024]
  本稿では,コントラスト学習のための新しい特徴レベル手法,すなわち合成硬質負のサンプルをサンプリングする手法を提案する。 負試料を混合し, アンカー試料と他の負試料とのコントラストを制御して, より硬い負試料を生成する。 提案手法は,画像データセットの分類性能を向上し,既存の手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-04-06T09:54:35Z)
• SimANS: Simple Ambiguous Negatives Sampling for Dense Text Retrieval [126.22182758461244]
  評価結果によると, 正の値にランク付けされた負の値は, 一般的にはより情報的であり, 偽陰の可能性が低いことがわかった。 そこで本研究では,よりあいまいな負のサンプリングに新しいサンプリング確率分布を組み込んだ,単純な曖昧な負のサンプリング手法であるSimANSを提案する。
  論文  参考訳（メタデータ） (2022-10-21T07:18:05Z)
• Generating Counterfactual Hard Negative Samples for Graph Contrastive Learning [22.200011046576716]
  グラフコントラスト学習は教師なしグラフ表現学習の強力なツールである。 最近の研究は、通常、正のサンプルと同一のトレーニングバッチから、または外部の無関係なグラフから、負のサンプルをサンプリングする。 我々は、textbfCounterfactual Mechanism を利用して、TextbfContrastive Learning のための人工的硬質負のサンプルを生成する方法を提案する。
  論文  参考訳（メタデータ） (2022-07-01T02:19:59Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。