論文の概要: A soft nearest-neighbor framework for continual semi-supervised learning

• arxiv url: http://arxiv.org/abs/2212.05102v1
• Date: Fri, 9 Dec 2022 20:03:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 15:36:18.269238
• Title: A soft nearest-neighbor framework for continual semi-supervised learning
• Title（参考訳）: 半教師付き連続学習のためのソフト近接学習フレームワーク
• Authors: Zhiqi Kang, Enrico Fini, Moin Nabi, Elisa Ricci, Karteek Alahari
• Abstract要約: 本稿では,連続的な半教師付き学習のためのアプローチを提案する。 このシナリオの根底にある問題は、ラベル付けされていないデータの表現を忘れ、ラベル付けされたデータを過度に適合させるモデルである。 近い隣人の力を利用して、特徴空間を非線形に分割し、現在のタスクの強力な表現を学ぶ。
• 参考スコア（独自算出の注目度）: 39.3159244946975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).
• Abstract（参考訳）: 重要な進歩にもかかわらず、最先端の連続学習アプローチのパフォーマンスは、完全にラベル付けされたデータの非現実的なシナリオにかかっている。 本稿では,この課題に取り組み,すべてのデータサンプルがラベル付けされていないような半教師付き学習のための手法を提案する。 このシナリオの根本的な問題は、ラベルなしデータの表現を忘れるモデルとラベル付きデータのオーバーフィットである。 隣り合う分類器の力を利用して特徴空間を非線形に分割し、現在のタスクの強い表現を学習し、過去のタスクから関連する情報を抽出する。 実験により,本手法は従来の手法よりも大きなマージンで優れた性能を示し,連続的な半教師付き学習パラダイムに基づく手法の強い現状を立証する。 例えば、CIFAR100では、少なくとも30分の1の監督(アノテーションの0.8%対25%)を使用する場合でさえ、他の数を上回っています。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Manifold DivideMix: A Semi-Supervised Contrastive Learning Framework for Severe Label Noise [4.90148689564172]
  実世界のデータセットには、データセットのどのクラスにも意味のないノイズの多いラベルサンプルが含まれている。 最先端の手法の多くは、IDラベル付きノイズサンプルを半教師付き学習のためのラベルなしデータとして利用する。 自己指導型トレーニングの利点を生かして,すべてのトレーニングデータからの情報を活用することを提案する。
  論文  参考訳（メタデータ） (2023-08-13T23:33:33Z)
• Exploring the Boundaries of Semi-Supervised Facial Expression Recognition: Learning from In-Distribution, Out-of-Distribution, and Unconstrained Data [19.442685015494316]
  表情認識(FER)における最新の半教師あり手法11について検討する。 本研究は,非流通,アウト・オブ・ディストリビューション,制約のない,非常に小さなデータからの半教師付き学習を対象とする。 以上の結果から,FixMatchは非分散データに対して常に優れたパフォーマンスを実現していることを示す一方,ReMixMatchは非分散データ,非制約データ,希少データシナリオにおいて,すべてのメソッドにおいて際立っている。
  論文  参考訳（メタデータ） (2023-06-02T01:40:08Z)
• Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
  特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。 合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
  論文  参考訳（メタデータ） (2022-02-04T15:46:27Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• OvA-INN: Continual Learning with Invertible Neural Networks [0.0]
  OvA-INNは、一度に1つのクラスを学習でき、以前のデータを格納しない。 特徴抽出器上にInvertible Networkを積み重ねることで,事前学習モデルの活用が可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-24T14:40:05Z)
• SCAN: Learning to Classify Images without Labels [73.69513783788622]
  機能学習とクラスタリングを分離する2段階のアプローチを提唱する。 表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。 我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
  論文  参考訳（メタデータ） (2020-05-25T18:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。