論文の概要: Bridging the Gap: Learning Pace Synchronization for Open-World
Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2309.11930v1
- Date: Thu, 21 Sep 2023 09:44:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 16:01:44.122871
- Title: Bridging the Gap: Learning Pace Synchronization for Open-World
Semi-Supervised Learning
- Title(参考訳): ギャップを埋める:オープンワールドセミスーパービジョンラーニングのための学習ペース同期
- Authors: Bo Ye, Kai Gan, Tong Wei and Min-Ling Zhang
- Abstract要約: オープンワールドの半教師付き学習において、機械学習モデルはラベルなしのデータから新しいカテゴリを明らかにすることを任務とする。
モデルは、正確な監督情報によって、前者をより早く学習する。
本稿では,1) クラス分布の推定に基づく適応的マージンの損失,2) 学習ペースの同期化,2) 出力空間の同じクラスからサンプルを抽出する擬似ラベルコントラストクラスタリングについて紹介する。
- 参考スコア(独自算出の注目度): 49.07038093130949
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In open-world semi-supervised learning, a machine learning model is tasked
with uncovering novel categories from unlabeled data while maintaining
performance on seen categories from labeled data. The central challenge is the
substantial learning gap between seen and novel categories, as the model learns
the former faster due to accurate supervisory information. To address this, we
introduce 1) an adaptive margin loss based on estimated class distribution,
which encourages a large negative margin for samples in seen classes, to
synchronize learning paces, and 2) pseudo-label contrastive clustering, which
pulls together samples which are likely from the same class in the output
space, to enhance novel class discovery. Our extensive evaluations on multiple
datasets demonstrate that existing models still hinder novel class learning,
whereas our approach strikingly balances both seen and novel classes, achieving
a remarkable 3% average accuracy increase on the ImageNet dataset compared to
the prior state-of-the-art. Additionally, we find that fine-tuning the
self-supervised pre-trained backbone significantly boosts performance over the
default in prior literature. After our paper is accepted, we will release the
code.
- Abstract(参考訳): オープンワールド半教師付き学習において、機械学習モデルはラベル付きデータから新しいカテゴリを抽出し、ラベル付きデータから見るカテゴリのパフォーマンスを維持する。
中心となる課題は、目に見えるカテゴリと新しいカテゴリの間の実質的な学習ギャップであり、モデルが正確な監視情報によって前者をより早く学習するためである。
これを解決するために紹介する
1) クラス分布の推定値に基づく適応的マージン損失は、見受けられるクラスのサンプルに対する大きな負のマージンを促進し、学習ペースを同期させ、
2)疑似ラベルコントラストクラスタリング(pseudo-label contrastive clustering)は、出力空間の同じクラスから、新しいクラス発見を強化するために、サンプルをまとめる。
複数のデータセットに対する我々の広範囲な評価は、既存のモデルがまだ新しいクラス学習を妨げていることを示しているが、我々のアプローチは目に見えるクラスと新しいクラスの両方を著しくバランスさせ、ImageNetデータセットの平均精度が従来の最先端と比較して顕著に3%向上したことを示している。
さらに, 自己教師付きバックボーンの微調整により, 先行文献の既定値よりも性能が著しく向上することが判明した。
論文が受理された後、コードをリリースします。
関連論文リスト
- Memory Consistency Guided Divide-and-Conquer Learning for Generalized
Category Discovery [56.172872410834664]
一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。
メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。
本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-24T09:39:45Z) - Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。
クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。
提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
論文 参考訳(メタデータ) (2022-01-04T06:55:19Z) - Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。
これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文 参考訳(メタデータ) (2021-06-20T17:34:55Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-18T07:47:10Z) - Open-World Semi-Supervised Learning [66.90703597468377]
本稿では,従来のクラスを認識するためにモデルを必要とする,新しいオープンワールド半教師付き学習環境を提案する。
データの分類とクラスタ化を同時に行うアプローチであるORCAを提案する。
我々は,ORCAが新しいクラスを正確に発見し,ベンチマーク画像分類データセット上で以前に見られたクラスにサンプルを割り当てることを示した。
論文 参考訳(メタデータ) (2021-02-06T07:11:07Z) - Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine
Pseudo-Labeling with Visual-Semantic Meta-Embedding [13.063136901934865]
少ないショットラーニングは、テスト時に少数のサンプルしか持たない、新しいカテゴリに迅速に適応することを目的としている。
本稿では,より困難なシナリオ,すなわちクロスグラニュラリティ・グラニュラリティ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラ
画像埋め込みの類似性に応じて,各粗いクラスを擬似微細クラスにグリーディクラスタリングすることで,詳細なデータ分布を近似する。
論文 参考訳(メタデータ) (2020-07-11T03:44:21Z) - Automatically Discovering and Learning New Visual Categories with
Ranking Statistics [145.89790963544314]
我々は,他のクラスをラベル付けした画像コレクションにおいて,新しいクラスを発見する問題に対処する。
汎用クラスタリングモデルを学び、後者を用いて、非競合データ中の新しいクラスを識別する。
我々は,標準分類ベンチマークに対するアプローチと,新しいカテゴリー発見法の性能を,有意なマージンで評価した。
論文 参考訳(メタデータ) (2020-02-13T18:53:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。