論文の概要: Extending Contrastive Learning to Unsupervised Coreset Selection

• arxiv url: http://arxiv.org/abs/2103.03574v1
• Date: Fri, 5 Mar 2021 10:21:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-08 17:03:51.198674
• Title: Extending Contrastive Learning to Unsupervised Coreset Selection
• Title（参考訳）: 教師なしコアセット選択へのコントラスト学習の拡張
• Authors: Jeongwoo Ju, Heechul Jung, Yoonju Oh, Junmo Kim
• Abstract要約: 我々は、コアセットを完全にラベルなしで選択する教師なしの方法を提案する。 対照学習には2つの指導的手法を用いる。 ラベルを用いた既存のコアセット選択手法と比較して,人間のアノテーションに関連するコストを削減した。
• 参考スコア（独自算出の注目度）: 26.966136750754732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised contrastive learning offers a means of learning informative features from a pool of unlabeled data. In this paper, we delve into another useful approach -- providing a way of selecting a core-set that is entirely unlabeled. In this regard, contrastive learning, one of a large number of self-supervised methods, was recently proposed and has consistently delivered the highest performance. This prompted us to choose two leading methods for contrastive learning: the simple framework for contrastive learning of visual representations (SimCLR) and the momentum contrastive (MoCo) learning framework. We calculated the cosine similarities for each example of an epoch for the entire duration of the contrastive learning process and subsequently accumulated the cosine-similarity values to obtain the coreset score. Our assumption was that an sample with low similarity would likely behave as a coreset. Compared with existing coreset selection methods with labels, our approach reduced the cost associated with human annotation. The unsupervised method implemented in this study for coreset selection obtained improved results over a randomly chosen subset, and were comparable to existing supervised coreset selection on various classification datasets (e.g., CIFAR, SVHN, and QMNIST).
• Abstract（参考訳）: 自己教師付きコントラスト学習は、ラベルなしデータのプールから情報的特徴を学習する手段を提供する。 本稿では、完全にラベル付けされていないコアセットを選択する方法を提供する、別の有用なアプローチを掘り下げる。 この点において、多くの自己指導的手法の1つであるコントラスト学習が近年提案され、常に最高性能を達成している。 これにより、視覚表現のコントラスト学習のための単純なフレームワーク(SimCLR)とモーメントコントラスト学習フレームワーク(MoCo)という2つの主要なコントラスト学習方法を選択することができた。 対照的学習プロセスの全期間において,各エポックの例のコサイン類似度を計算し,その後コサイン類似度値を蓄積してコアセットスコアを得る。 我々の仮定では、類似度の低いサンプルはコアセットとして振る舞う可能性が高い。 ラベルを用いた既存のコアセット選択手法と比較して,人間のアノテーションに関連するコストを削減した。 本研究で実施したコアセット選択のための監視されていない方法は、ランダムに選択されたサブセットよりも改善された結果を得、様々な分類データセット(CIFAR、SVHN、QMNISTなど)における既存の監視されたコアセット選択に匹敵するものであった。

関連論文リスト

• Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification [11.072083437769093]
  我々は不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。 私たちのモデルは、いくつかのデータセットで人気のある大きな言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T11:33:49Z)
• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。 本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• Probabilistic Bilevel Coreset Selection [24.874967723659022]
  本稿では,各トレーニングサンプルの確率的重みを学習することにより,コアセット選択の連続確率的2レベル定式化を提案する。 暗黙的な微分の問題を伴わずに、偏りのない政策勾配を経由し、二段階最適化問題に対する効率的な解法を開発する。
  論文  参考訳（メタデータ） (2023-01-24T09:37:00Z)
• Learning by Sorting: Self-supervised Learning with Group Ordering Constraints [75.89238437237445]
  本稿では,対照学習目標である群順序制約(GroCo)の新たなバリエーションを提案する。 正の対と負の対の距離をソートし、正の対が負の対よりも多くの距離を持つかに基づいてそれぞれの損失を計算するという考え方を利用しており、したがって正しく順序付けされていない。 各種自己教師付き学習ベンチマークの定式化について検討し、バニラのコントラスト学習と比較して結果が向上するだけでなく、k-NNの性能において、線形探索や性能向上において同等の手法と競合する性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-01-05T11:17:55Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Exploiting Diversity of Unlabeled Data for Label-Efficient Semi-Supervised Active Learning [57.436224561482966]
  アクティブラーニング(英: Active Learning)は、ラベリングのための最も重要なサンプルを選択することで、高価なラベリングの問題に対処する研究分野である。 アクティブな学習環境における初期ラベル付けのための最も情報性の高いサンプル群を選択するために,多様性に基づく新しい初期データセット選択アルゴリズムを提案する。 また、一貫性に基づく埋め込みの多様性に基づくサンプリングを用いた、新しいアクティブな学習クエリ戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-25T16:11:55Z)
• DeepCore: A Comprehensive Library for Coreset Selection in Deep Learning [3.897574108827803]
  CIFAR10とImageNetデータセットのコアセット選択手法に関する実証的研究を行った。 特定の実験環境では性能が向上するメソッドもあるが、ランダム選択は依然として強力なベースラインである。
  論文  参考訳（メタデータ） (2022-04-18T18:14:30Z)
• Self-Training: A Survey [5.772546394254112]
  半教師付きアルゴリズムは、ラベル付き観測の小さなセットとラベルなし観測の大きなセットから予測関数を学習することを目的としている。 近年,自己学習手法が注目されていることは確かである。 本稿では,バイナリクラスとマルチクラス分類のための自己学習手法と,その変種と関連する2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-24T11:40:44Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)
• Uncovering Coresets for Classification With Multi-Objective Evolutionary Algorithms [0.8057006406834467]
  coresetはトレーニングセットのサブセットであり、機械学習アルゴリズムが元のデータ全体にわたってトレーニングされた場合の成果と同じようなパフォーマンスを取得する。 候補コルセットは反復的に最適化され、サンプルの追加と削除が行われる。 多目的進化アルゴリズムは、集合内の点数と分類誤差を同時に最小化するために用いられる。
  論文  参考訳（メタデータ） (2020-02-20T09:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。