論文の概要: Semantically-Conditioned Negative Samples for Efficient Contrastive Learning

• arxiv url: http://arxiv.org/abs/2102.06603v1
• Date: Fri, 12 Feb 2021 16:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 22:35:12.151578
• Title: Semantically-Conditioned Negative Samples for Efficient Contrastive Learning
• Title（参考訳）: 効率的なコントラスト学習のためのセマンティカルコンディショニングネガティブサンプル
• Authors: James O' Neill, Danushka Bollegala
• Abstract要約: 負のサンプリングはクラス境界に関する情報をほとんど提供しない。 効率的な負サンプリングのための3つの新しい手法を提案する。 CIFAR-10, CIFAR-100, Tiny-ImageNet-200 で行った実験は, 一貫した性能向上を示した。
• 参考スコア（独自算出の注目度）: 22.631763991832862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Negative sampling is a limiting factor w.r.t. the generalization of metric-learned neural networks. We show that uniform negative sampling provides little information about the class boundaries and thus propose three novel techniques for efficient negative sampling: drawing negative samples from (1) the top-$k$ most semantically similar classes, (2) the top-$k$ most semantically similar samples and (3) interpolating between contrastive latent representations to create pseudo negatives. Our experiments on CIFAR-10, CIFAR-100 and Tiny-ImageNet-200 show that our proposed \textit{Semantically Conditioned Negative Sampling} and Latent Mixup lead to consistent performance improvements. In the standard supervised learning setting, on average we increase test accuracy by 1.52\% percentage points on CIFAR-10 across various network architectures. In the knowledge distillation setting, (1) the performance of student networks increase by 4.56\% percentage points on Tiny-ImageNet-200 and 3.29\% on CIFAR-100 over student networks trained with no teacher and (2) 1.23\% and 1.72\% respectively over a \textit{hard-to-beat} baseline (Hinton et al., 2015).
• Abstract（参考訳）: 負のサンプリングは制限係数 w.r.t である。 計量学習ニューラルネットワークの一般化。 その結果、一様負サンプリングはクラス境界に関する情報をほとんど提供せず、効率的な負サンプリングのための3つの新しい手法を提案する:(1)最も意味的に類似したクラスのトップから負のサンプルを抽出し、(2)最も意味的に類似したサンプルをトップ-$k$から抽出し、(3)対照的な潜在表現を補間して擬似負を生成する。 CIFAR-10, CIFAR-100, Tiny-ImageNet-200 で行った実験では,提案した \textit{Semantically Conditioned Negative Smpling} と Latent Mixup が一貫した性能向上をもたらすことが示された。 標準的な教師付き学習環境では、各種ネットワークアーキテクチャにおけるCIFAR-10におけるテスト精度を平均1.52 %向上させる。 知識蒸留では,(1)小イメージネット200では学生ネットワークのパフォーマンスが4.56\%,(2)教師がいない学生ネットワークでは3.29\%,(2)textit{hard-to-beat}ベースラインでは1.23\%,.72\%と,それぞれ4.56\%向上した(hinton et al., 2015)。

関連論文リスト

• $\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs [62.565573316667276]
  サンプルが他者とどのように関連しているかを符号化する目的を開発する。 クラスやテキストのキャプション記述における類似性に基づいて視覚モデルを訓練する。 我々の目標は、特に低いデータ体制でうまく機能しているようで、CLIPが16.8%、ImageNet Realが18.1%だった。
  論文  参考訳（メタデータ） (2024-07-25T15:38:16Z)
• When hard negative sampling meets supervised contrastive learning [17.173114048398947]
  我々は、微調整フェーズ中にハードネガティブサンプリングを組み込んだ新しい教師付きコントラスト学習目標であるSCHaNeを導入する。 SchaNeは、様々なベンチマークで、トップ1の精度で強いベースラインBEiT-3を上回っている。 提案手法は,ImageNet-1kのベースモデルに対して,86.14%の精度で新たな最先端技術を実現する。
  論文  参考訳（メタデータ） (2023-08-28T20:30:10Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Do More Negative Samples Necessarily Hurt in Contrastive Learning? [25.234544066205547]
  提案手法は,下層の潜在クラスから正のペアをサンプリングすることによって生成する単純な理論的条件下で,表現の下流性能が負のサンプル数で低下しないことを示す。 また、フレームワークにおける最適な表現の構造的特徴も与える。
  論文  参考訳（メタデータ） (2022-05-03T21:29:59Z)
• CaCo: Both Positive and Negative Samples are Directly Learnable via Cooperative-adversarial Contrastive Learning [45.68097757313092]
  クエリアンカーが与えられた負のサンプルと正のサンプルを区別することで、エンコーダを訓練する。 比較損失の最小化と最大化により, 正および負のサンプルを協調的に, 対角的に学習できることが示唆された。 提案手法は、ImageNet1K上で事前トレーニングされたResNet-50バックボーンの200と800のエポックに対して、トップ1の精度で71.3%と75.3%を達成する。
  論文  参考訳（メタデータ） (2022-03-27T18:50:39Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
  対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
  論文  参考訳（メタデータ） (2021-04-29T17:56:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)
• SCAN: Learning to Classify Images without Labels [73.69513783788622]
  機能学習とクラスタリングを分離する2段階のアプローチを提唱する。 表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。 我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
  論文  参考訳（メタデータ） (2020-05-25T18:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。